Malý test štvordiskového swRAIDu v Debiane.

28.5.2009 21:13 | Přečteno: 1290× | 3 | poslední úprava: 28.5.2009 21:14

V rámci prípravy a zahorovania PC sa mi naskytla možnosť otestovať štyri rovnaké disky v softverovom RAIDe na Debiane 5.0.1. Rad by som sa s Vami podelil o mnou namerané výsledky. Použitý filesystem - okrem bootovacej particie - kde bol JFS, bol na všetkych ostatnych RAID particiach použitý filesystem XFS.

HW konfiguracia:

CPU: Intel Core 2 Duo 5200
RAM: 2x1G, 800Mhz
HDD: 4x80G Seagate SATA, 7200

RAID:

Personalities : [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] 
md5 : active raid1 sda9[0] sdc9[2](S) sdd9[3](S) sdb9[1]
      11727296 blocks [2/2] [UU] *
      
md4 : active raid10 sda8[0] sdd8[3] sdc8[2] sdb8[1]
      29302272 blocks 64K chunks 2 near-copies [4/4] [UUUU]
      
md3 : active raid6 sda7[0] sdd7[3] sdc7[2] sdb7[1]
      29302272 blocks level 6, 64k chunk, algorithm 2 [4/4] [UUUU]
      
md2 : active raid5 sda6[0] sdd6[3] sdc6[2] sdb6[1]
      43953408 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]
      
md1 : active raid0 sda5[0] sdd5[3] sdc5[2] sdb5[1]
      58604544 blocks 64k chunks
      
md0 : active raid1 sda1[0] sdd1[3] sdc1[2] sdb1[1]
      7815488 blocks [4/4] [UUUU]

^* - v teste označovaný ako RAID1+2 (spare)

df -h

/dev/md0              7.5G  406M  7.1G   6% /
tmpfs                 997M     0  997M   0% /lib/init/rw
udev                   10M  216K  9.8M   3% /dev
tmpfs                 997M     0  997M   0% /dev/shm
/dev/md1               56G  4.6M   56G   1% /raid/0
/dev/md5               12G  4.2M   12G   1% /raid/1+2
/dev/md4               28G  4.6M   28G   1% /raid/10
/dev/md2               42G  4.8M   42G   1% /raid/5
/dev/md3               28G  4.8M   28G   1% /raid/6

Test č.1 - hdparm (najprv samostatné disky, potom samostatné RAID polia)

sda

/dev/sda:
 Timing cached reads:   2424 MB in  2.00 seconds = 1212.45 MB/sec
 Timing buffered disk reads:  226 MB in  3.02 seconds =  74.89 MB/sec

sdb

/dev/sdb:
 Timing cached reads:   2402 MB in  2.00 seconds = 1201.43 MB/sec
 Timing buffered disk reads:  222 MB in  3.00 seconds =  73.94 MB/sec

sdc

/dev/sdc:
 Timing cached reads:   2436 MB in  2.00 seconds = 1217.87 MB/sec
 Timing buffered disk reads:  234 MB in  3.01 seconds =  77.63 MB/sec

sdd

/dev/sdd:
 Timing cached reads:   2426 MB in  2.00 seconds = 1213.29 MB/sec
 Timing buffered disk reads:  226 MB in  3.02 seconds =  74.85 MB/sec

RAID1

/dev/md0:
 Timing cached reads:   2422 MB in  2.00 seconds = 1211.19 MB/sec
 Timing buffered disk reads:  226 MB in  3.02 seconds =  74.83 MB/sec

RAID0

/dev/md1:
 Timing cached reads:   2440 MB in  2.00 seconds = 1220.05 MB/sec
 Timing buffered disk reads:  576 MB in  3.00 seconds = 191.81 MB/sec

RAID5

/dev/md2:
 Timing cached reads:   2420 MB in  2.00 seconds = 1209.83 MB/sec
 Timing buffered disk reads:  574 MB in  3.00 seconds = 191.29 MB/sec

RAID6

/dev/md3:
 Timing cached reads:   2418 MB in  2.00 seconds = 1208.95 MB/sec
 Timing buffered disk reads:  366 MB in  3.01 seconds = 121.70 MB/sec

RAID10

/dev/md4:
 Timing cached reads:   2438 MB in  2.00 seconds = 1219.41 MB/sec
 Timing buffered disk reads:  334 MB in  3.01 seconds = 110.82 MB/sec

RAID1+2

/dev/md5:
 Timing cached reads:   2408 MB in  2.00 seconds = 1204.15 MB/sec
 Timing buffered disk reads:  136 MB in  3.04 seconds =  44.77 MB/sec

Test č.2 - zápis 2GB súboru (time dd if=/dev/zero of=/raid/*/test.img bs=1M count=2048 && sync)

Big file - create... RAID0
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB) copied, 9.42652 s, 228 MB/s

real    0m9.446s
user    0m0.016s
sys     0m3.652s


Big file - create... RAID1+2
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB) copied, 44.4176 s, 48.3 MB/s

real    0m44.433s
user    0m0.008s
sys     0m4.164s


Big file - create... RAID5
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB) copied, 15.2558 s, 141 MB/s

real    0m15.298s
user    0m0.008s
sys     0m4.016s


Big file - create... RAID6
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB) copied, 19.4485 s, 110 MB/s

real    0m19.546s
user    0m0.012s
sys     0m3.864s


Big file - create... RAID10
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB) copied, 17.9499 s, 120 MB/s

real    0m18.164s
user    0m0.000s
sys     0m4.004s

Test č.3 - dbench (dbench -D /raid/* -t 180 150)

RAID0 - Throughput 37.8139 MB/sec 150 procs

RAID1+2 - Throughput 11.3838 MB/sec 150 procs

RAID5 - Throughput 5.69852 MB/sec 150 procs

RAID6 - Throughput 6.44672 MB/sec 150 procs

RAID10 - Throughput 21.5939 MB/sec 150 procs

Bližie info o teste najdete na stránkach ajtaci.info + fotky. Pre krátkosť času vyhradeného na testovanie som nemohol test vyskúšať na rôznych filesystémoch - pretože výsledky tohto testu sa samozrejme môžu práve v závislosti na použitom filesystéme líšiť (bolo by dobre si porovnať práve tieto výsledky - rôzne druhy swraidov vs. rôzne filesystémy) avšak pevne verím že sa hádam neskôr k testu swRAIDov pod Debianom so všetkými filesystémami Debianom podporovanými vrátim...

       

Anketa

Anketa

Obrázky

Komentáře

[franta]

Tento test tohle ma zasadni nevyhodu, a to, ze ruzna rychlost na ruznych mistech na disku znehodnoti vysledky. Mel jste pokazde vytvoril novy raid nad stejnou partisnou=stejna oblast na disku.

[franta]

Dalsi problem vidim v pouziti pouze 2GB testovaciho souboru. Ten se temer vleze do pameti

[Michal Fecko]

Ako potom vysvetlit tieto rozdielne vysledky?

[=^..^= AmigaPower®]

Jednoduše! Na každym z těch disků, je ta žlutá samolepka nalepená úplně jinak..

[Michal Fecko]

Asi

[franta]

Nejsi trochu mimo? To je snad normalni ze ruzna mereni davaji ruzne vysledky, ne?

[Michal Fecko]

Pri 3 meraniach zhruba rovnake vysledky? Nedaj sa vysmiat...

[Vskutečnosti Saýc]

Ze vysledky jsou ruzne je mozne, ale ten test opravdu o nicem nevypovida.

Bylo by lepsi raid sestavit pokazde zcela, restartovat pocitac (kvuli cache) a potom pouzit treba bonnie++. To rekne vic o tom jak se takovy system chova v realnem nasazeni.

[frEon]

Restartovat pocitac kvuli vyprazdneni cache neni vubec potreba. Staci pustit echo 1 > /proc/sys/vm/drop_caches. Navic pri vytvoreni noveho filesystemu je puvodni cache stejne neplatna.

[frEon]

ted, kdyz to po sobe ctu, si uvedomuji, ze jsem chtel rict: echo 3 > /proc/sys/vm/drop_caches

[Aleš Kapica]

No, takže takový výsledek to mělo u mne - vytvořený soubor je desetkrát větší (aby nebyla námitka ohledně paměti). Jde o softwarový RAID 1, souborový systém reiserfs. Na pozadí současně běží čtyři virtuální stroje (3x linux, 1x windows server), které na onom raidu v současné chvíli zabírají celkem cca 100GB (z 932GB)

stroj:/media/disk/vmware# time dd if=/dev/zero of=test.img bs=1M count=20480 && sync
20480+0 vstoupivších záznamů
20480+0 vystoupivších záznamů
21 474 836 480 bajtů (21 GB) zkopírováno, 355,509 s, 60,4 MB/s

real	5m56.767s
user	0m0.023s
sys	1m35.237s

Jinak já osobně jsem zvolil jinou strategii. Ve stroji mám 2x RAID1 systémový (2x250GB) a datový (2x1000GB). Jeden disk z každého raidu je napevno ve "stroji" a druhý výjimatelný v hotswapovém koši. 1x250GB a 1x1000GB mám pro průběžnou zálohu. Z tého zálohy jsem v případě nutnosti schopen rozjet identický stroj a jiném železe. Záloha virtuálních strojů je řešena ještě mimo to.

[Michal Fecko]

Pekne, akurát nechápem načo 250G na systém Ja to mam na svojej domacej pracovnej stanici momentalne takto... 2 x 500G (Seagate, 7200rpms, 32M cache) v RAID1.

/dev/md0 8.5G /
/dev/md1 2.1G swap *
/dev/md2 456G /home

^* - prerobim ale v blizkej buducnosti na RAID0 a primountujem ako /tmp - swap urobim 512M do suboru

Inac dobry vysledok tych 21G - mne to hodilo toto:

$ time dd if=/dev/zero of=test.img bs=1M count=20480 && sync
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 438.258 s, 49.0 MB/s

real    7m18.281s
user    0m0.076s
sys     1m8.176s

a to mi bezi iba jeden virtualny stroj (HAIKU@QEMU) a zapratane mam necele dve plochy aplikaciami. Zalohovanie riesim jednak na datovej (/home) partici (zaloha proti nahodnemu vymazu v domacom adresari - auto-mirroring na ine miesto) + hot swapujem 160G usb disk - zalohovanie najdolezistejsej prace + nejake fotky. Nad hotswap internym diskom som tiez rozmyslal - ale v dobe ked som si zakupil USB box som nijake cenovo prijatelne (oproti USB boxu) riesenie nenasiel. Ak by som si do buducna mal stavat domaci desktop asi by som siahol po 4 diskovom RAID10 zlozenom z hotswapovych diskov - aspon 1.5TB (+ potreboval by som ale case na 5 hotswap 5,25" sacht + jednu na DVDRW). Zaujimalo ako sa riesis hotswap na Linuxe - akeho vyrobcu si zvolil a ako disk odpajas/pripajas (iba mount/umount?)?

[Aleš Kapica]

..akurát nechápem načo 250G na systém

Je to jednoduché - menší disk, rychlejší obnova raidu. Ten systémový disk má jen 30GB zbytek toho disku je volný. Vytvářet na jednom disku více diskových oddílů a z nich pak skládat raid je volovina.

A proč zrovna 500GB? Protože za tři roky to bude tak nejmenší velikost disku jakou asi tak půjde sehnat.

Ad hotswap - ten sata disky normálně umí, takže na to stačí ten koš, který umožňuje pohodlnou manipulaci. Viz link: CHIEFTEC S-ATA Backplane SNT-3141SATA HDD cage, 4x SATA do 3x 5, 25" pozic

[Michal Kubeček]

..akurát nechápem načo 250G na systém

Je to jednoduché - menší disk, rychlejší obnova raidu.

IMHO ten dotaz nebyl myšlen jako "proč tak málo", ale jako "proč tak moc". :-)

[Aleš Kapica]

Protože cenový rozdíl mezi 80GB a 250GB diskem byl směšně malý.

[trekker.dk]

Nejsem si jist, jestli test hdparm na RAID1 něco vypovídá. Vzhledem k tomu, že výsledek je stejný jako při čtení samostatného disku, tipuju, že se nečetlo ze všech disků v poli naráz.

[pato83]

Je tomu tak uz z povahy RAID1. Je to uplne v poriadku, ze vysli tieto vysledky pri RAID1 a zapise na jeden samostatny disk. Pri RAID1 sa tie iste data zapisuju na oba disky v poli, takze nic ine cakat ani nejde.

[Michal Kubeček]

To není tak úplně pravda. Při čtení delšího souvislého bloku je teoreticky možné dosáhnout dvojnásobné rychlosti (obecně n-násobné), protože můžete (současně) číst z každého disku část. Linuxový driver tak ale nefunguje, ten pro volbu fyzického zařízení při čtení používá jednoduchý algoritmus, který je zaměřen v podstatě jen na optimalizaci seek time.

[pato83]

Dakujem za vysvetlenie. Ale podla toho to nie je tak, ze mame 2MB dat, su dva disky. Z kazdeho precitam 1MB dat toho suboru, takze citanie by bolo 2x tak rychle ako pri jednom disku. Ale uz zapisat tieto 2MB treba na oba, takze tam k ziadnemu zrychleniu dojst nemoze. Takze zrychlenie by tam byt malo/mohlo ale zapis uz nie. Ja viem, hodne polopatisticky. Je toto tvrdenie pravda alebo nie?

[Michal Kubeček]

Ano, zrychlení je u RAID 1 opravdu možné jen při čtení. Ale trekker.dk komentoval výsledek příkazu hdparm a ten měří pouze čtení.

[Patrik Uhrak]

To som si neuvedomil, moja chyba, som tu videl dd aj hdparm. Ale aspon v tom mam jasno tedka.

[trekker.dk]

Je tomu tak uz z povahy RAID1. Je to uplne v poriadku, ze vysli tieto vysledky pri RAID1 a zapise na jeden samostatny disk.

Hdparm ale netestuje zápisem, ale čtením.

[trekker.dk]

Ale dopytle, když už se podívám, jestli někdo něco neřekl přede mnou, tak stejně to podstatné přehlídnu.

[Limoto]

Proč bs=1M? 8M by bylo určitě rychlejší...

[Semo]

Nemusi, kedysi som si robil nejake testy zapisu alebo citania (uz si nepamatam) z disku (iba jedne disk, nie RAID) a najrychlejsie bolo s bs=4096. Vacsie bs to malicko spomalilo. Asi to bude najvyhodnejsie, ked sa velkost stranky == velkost kopirovaneho bloku.