swRAID0 nad dvoma SSD diskami

12.1.2012 18:05 | Přečteno: 1288× | 3 | poslední úprava: 12.1.2012 19:24

Dostali sa mi do rúk 2 x SSD OCZ Agility 3 a tak som ich - ako ináč - chcel podrobiť nejakým testom. Povedal som si že taký rekord (aspoň miestny ) v hdparme (hdparm -Tt) by nezaškodil, tak som sa pustil do toho...

Testovacia zostava

Intel Core i5-2400, 3,2 Ghz
8GB RAM 
2xOCZ Agility 3 (525/475 MBps, 50 000 IOPS)
Debian SID AMD64 (aj W7 Pro 64b)
Filesystem - JFS
Linux 3.1.0-1-amd64

Testovanie

Výsledok vo W7 Pro môžete zhliadnuť dole v obrázkoch (utilita HD Tune). Teraz sa budeme venovať samotnemu testu pod Linuxom. Takže najprv test samostatného SSD. Najprv teda hdparm -Tt

hdparm -Tt /dev/sda

/dev/sda:
 Timing cached reads:   23772 MB in  2.00 seconds = 11901.75 MB/sec
 Timing buffered disk reads: 966 MB in  3.00 seconds = 321.64 MB/sec

nasleduje hdparm -Tt samotného RAIDu (RAID0, stripping)

hdparm -Tt /dev/md0

/dev/md0:
 Timing cached reads:   22134 MB in  2.00 seconds = 11080.35 MB/sec
 Timing buffered disk reads: 2386 MB in  3.00 seconds = 795.26 MB/sec

ďalší test: dbench -D /home/test* -t 180 150

 Operation      Count    AvgLat    MaxLat
 ----------------------------------------
 NTCreateX    2058867     1.663  1136.509
 Close        1513065     0.001     4.469
 Rename         87154    10.746   873.244
 Unlink        414933    11.102  1230.445
 Qpathinfo    1865767     0.003    10.083
 Qfileinfo     325357     0.001     1.204
 Qfsinfo       341424     0.002     1.099
 Sfileinfo     167806     0.003     1.244
 Find          720496     0.010     8.926
 WriteX       1016278     0.198   157.194
 ReadX        3226908     0.002     5.079
 LockX           6684     0.002     0.495
 UnlockX         6684     0.001     0.167
 Flush         144052   123.578  1247.097

Throughput 355.657 MB/sec  150 clients  150 procs  max_latency=1247.098 ms

Pre porovnanie dbench starého testu

test zvaný tiobench (Threaded I/O bench):

tiobench --size 12000
tiobench --size 12000
Run #1: /usr/bin/tiotest -t 8 -f 1500 -r 500 -b 4096 -d . -TTT

Unit information
================
File size = megabytes
Blk Size  = bytes
Rate      = megabytes per second
CPU%      = percentage of CPU used during the test
Latency   = milliseconds
Lat%      = percent of requests that took longer than X seconds
CPU Eff   = Rate divided by CPU% - throughput per cpu load

Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
3.1.0-1-amd64                12000  4096    1  777.70 24.75%     0.005       11.58   0.00000  0.00000  3141
3.1.0-1-amd64                12000  4096    2  696.24 42.33%     0.011      117.12   0.00000  0.00000  1645
3.1.0-1-amd64                12000  4096    4  600.51 50.28%     0.025      332.49   0.00000  0.00000  1194
3.1.0-1-amd64                12000  4096    8  565.54 92.16%     0.051      322.52   0.00000  0.00000   614

Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
3.1.0-1-amd64                12000  4096    1   53.82 1.377%     0.072        2.16   0.00000  0.00000  3906
3.1.0-1-amd64                12000  4096    2   54.55     0%     0.112      100.12   0.00000  0.00000     0
3.1.0-1-amd64                12000  4096    4   49.30     0%     0.217       83.67   0.00000  0.00000     0
3.1.0-1-amd64                12000  4096    8   66.58 57.95%     0.421       51.90   0.00000  0.00000   115

Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
3.1.0-1-amd64                12000  4096    1  355.86 50.77%     0.011      202.47   0.00000  0.00000   701
3.1.0-1-amd64                12000  4096    2  498.67 113.8%     0.014      781.65   0.00000  0.00000   438
3.1.0-1-amd64                12000  4096    4  610.80 200.3%     0.023      291.06   0.00000  0.00000   305
3.1.0-1-amd64                12000  4096    8  604.39 338.8%     0.045      397.22   0.00000  0.00000   178

Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
3.1.0-1-amd64                12000  4096    1   67.34     0%     0.001        0.01   0.00000  0.00000     0
3.1.0-1-amd64                12000  4096    2   68.71     0%     0.001        0.01   0.00000  0.00000     0
3.1.0-1-amd64                12000  4096    4   69.04     0%     0.002        0.02   0.00000  0.00000     0
3.1.0-1-amd64                12000  4096    8   69.42     0%     0.001        0.01   0.00000  0.00000     0

test zvaný sysbench (subtest fileio):

# sysbench --num-threads=16 --test=fileio --file-total-size=10G --file-test-mode=rndrw prepare
sysbench 0.4.12:  multi-threaded system evaluation benchmark

128 files, 81920Kb each, 10240Mb total
Creating files for the test...
 
------

# sysbench --num-threads=16 --test=fileio --file-total-size=10G --file-test-mode=rndrw run
sysbench 0.4.12:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 16

Extra file open flags: 0
128 files, 80Mb each
10Gb total file size
Block size 16Kb
Number of random requests for random IO: 10000
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test
Threads started!
Done.

Operations performed:  6001 Read, 3999 Write, 12803 Other = 22803 Total
Read 93.766Mb  Written 62.484Mb  Total transferred 156.25Mb  (26.826Mb/sec)
 1716.85 Requests/sec executed

Test execution summary:
    total time:                          5.8246s
    total number of events:              10000
    total time taken by event execution: 1.3164
    per-request statistics:
         min:                                  0.00ms
         avg:                                  0.13ms
         max:                                 87.76ms
         approx.  95 percentile:               0.29ms

Threads fairness:
    events (avg/stddev):           625.0000/160.08
    execution time (avg/stddev):   0.0823/0.03

------

# sysbench --num-threads=16 --test=fileio --file-total-size=10G --file-test-mode=rndrw cleanup
sysbench 0.4.12:  multi-threaded system evaluation benchmark

Removing test files...

a test iostat:

./iostat -cdDpPx
                             extended device statistics                             cpu
device mgr/s mgw/s    r/s    w/s    kr/s    kw/s   size queue   wait svc_t  %b  us  sy  wt  id
sda1     363    56   41.0  419.0 13710.6 20998.7   75.5   9.0   19.6   0.3  16   4   4  10  82
sdb1     204    55   35.1  370.5 13055.6 20776.7   83.4   8.1   20.0   0.4  15 
md0        0     0  479.6  902.4 26112.7 41775.5   49.1   0.0    0.0   0.0   0 

Záver

Jednoznačne rekord (ak nie lokálny na abclinuxu tak môj osobný teda určite ). Rozdiel rýchlosti softwaroveho RAIDu a XHD RIADu od Intelu vo Win je cca 250MB/s čo nieje vôbec zlé.


       

Obrázky

Komentáře

[Dreit]

Teda vypadá to zajímavě

 

Jinak mě vždycky zajímalo co by udělal SSD + HDD v RAID1. Očekával bych rychlou odezvu (SSD) i čtení dat (HDD), ale netušim jak v realitě a docela bych to chtěl někdy vidět    Případně dva HDD do RAID0, k tomu dva SSD do RAID0 a nad tím obojím postavit ještě RAID1

[Dreit]

Ještě mě napadá, co obrázek z Palimpsest? http://img585.imageshack.us/img585/3962/palimpsest.png V Debianu balíček gnome-disk-utility

[Michal Fecko]

Tak som este stihol pridat obrazky z Palimpsest do blogu

[Dreit]

Teda, to je krásnej graf! A ta odezva....hádám že to běhá všechno opravdu hodně rychle   Kam já se hrabu

[Michal Fecko]

Predpokladám že RAID1 pôjde rovnako rýchlo ako najpomalší člen tohto RAIDu a to isté by malo platiť o latencii (ľudovo povedané rýchlejší disk bude čakať pri operáciách na ten pomalší). Ale to sú len moje dohady a takýto hybrid by trebalo skúsiť - ale na toto skúšanie žiaľ dnes asi nebude čas Určite zaujímavý podnet. Ten RAID1 postavený nad RAID0 s HDD a RAID0 s SSD by som mohol niekedy skúsiť (ak bude čas, disky, chcenie a dobrá konštalácia hviezd).

[Dreit]

Právě by mě docela zajímalo která úvaha je správná (disky na sebe nebudou čekat  X  disky na sebe budou čekat), případně jak to ovlivnit - u open source přece musí být možnost jak to nastavit

Ten nápad už mám v hlavě dlouho, ale s SSD nemám zkušenosti a 2x Samsung HDD v RAID0 na stolnim PC mi zatím bohatě stačí. Docela by mě zajímalo jestli bych tím trochu popohnal netbook (sehnat někde SSD do miniPCI-E a udělat ten RAID1), možná by to bylo výhodnější než měnit 5400RPM disk za 7200RPM, ale opravdu nemám s SSD zkušenosti.

RAID0 na HDD je neskutečně znát, k 500GB disku WD jsem připojil 40GB WD a dokud nedosloužil 500GB kus, tak jsem to tak používal, pak přišla výměna za ty dva Samsungy co mám teď a absolutní spokojenost, nemluvě o bootu rychlejším než POST   Kdybych připojil ještě ty dva RAIDO SSD paralelně (a disky na sebe nijak nečekaly) tak se mi snad login ukáže dřív než začnu bootovat

[Michal Fecko]

pak přišla výměna za ty dva Samsungy co mám teď a absolutní spokojenost, nemluvě o bootu rychlejším než POST

hlavne nezabudnúť pravidelne zálohovať, dôležité veci radšej automaticky (niekde na nejaké FTP alebo podobne)

tak se mi snad login ukáže dřív než začnu bootovat

od stlačenia enter pri grube pri SSD RAID0 som čakal na prebliknutie obrazovky (cca 0,5s), nie na login samotný (boot do SLIM login managera)

[Dreit]

Ono když se na to tak dívám tak moc důležitých věcí tady většinou nemám (proto RAID0 už i na data - spíš toho mám hodně a chci aby to běhalo rychle), případně na "serveru" (printserver v rohu pod oknem, Debian) mám 40GB disk a můžu zálohovat menší množství dat (dokud nezaplnim disk) tam :)  A ještě externí USB disk + několik SD karet + FTP.

 

To je taky pravda   Přebliknutí obrazovky, sotva pár vteřin se na obrazovce objevuje text a už na mě bliká login

[alkoholik]

Man mdadm, hledas sekci --write-mostly

[Non_E]

Mám to tak podobně doma. Měl jsem RAID5 (5 HDD) a pořídil jsem si časem ještě SSD. Udělal jsem potom raid1 jednoho oddílu na SSD disku s oddílem na RAID5 poli. Mdadm zná příznak "write-mostly", tudíž se má na pevné disky spíš zapisovat a čtení obstará rychlý SSD. Ještě stojí za úvahu volba "write behind". Subjektivně se rychlost operací oproti pouze pevným diskům zvýšila.

[Dreit]

Takže hádám že moje úvaha o spojení SSD a HDD byla správná

[Ruža Becelin]

Jak je na tom TRIM v kombinaci s RAID? Krome nejakych zminek o Intelu a RAID0 jsem nic moc nenasel...