Hraní s malým serverem IV a ½ - rychlost úložiště

9.4.2013 00:27 | Přečteno: 1542× | LittleServer | | poslední úprava: 9.4.2013 00:35

Protože v minulé „hrátce“ byla v diskuzi rozváděna otázka rychlosti, byť nebyla předmětem testu, rozhodl jsem se udělat vložku, před deklarovaným testem ukládání velkého množství malých souborů.

Sice mě rychlost momentálně nezajímá, ale proč to nezkusit, že(?)…

Do srovnání rychlostí kombinací úložiště jsem vložil i LUKS. Pro ty případy, kdy děláte například video či animace s porno záznamem své babičky, nebo třeba děláte nějaké výpočty pomocí MKP (FEM) kde vám to nějaký předpis nařizuje.

Otázkou je jestli by tyto kombinace dalších úrovní (RAID,LUKS,FS) generovaly stejné vzájemné pořadí, kdyby se jednalo o dva(tři, čtyři) SSD disky (nebo takové ty super SSD, co jsem ještě nikdy v ruce neměl, přímo do PCI-E).

Surový zápis jsem trochu upravil (oflag=sync bs=268435456) celkem 32GiB v 32 souborech. Zapisují se předpřipravená (u)random data (1GiB v souboru v paměti na /dev/shm/). Provedl jsem i mazání pomocí find -type f -delete, pak je ještě smazána struktura již pomocí rm, v čase je zahrnutý i sync.

Struktura celkem obsahuje 223 adresářů a 22000 souborů celkem ≈25.5GiB v tříúrovňové struktuře.
Čtení struktury je podobné jako mazání ted: find -type f -exec dd if={} of=/dev/null bs=268435456

Jako obvykle uvádím i ø vytížení CPU v % (v přílohách je to někde ×10), hodnoty jsou dobou trvání testu, tedy čím menší tím lepší.
V textu uvedu jen 4 grafy (jednotlivé nechávám v přílohách). Grafy jsem tentokráte neseřadil, minule byla námitka a možná je to tak i lepší.




Zde je odkaz na poslední graf setříděný dle času/rychlosti (rovněž je v příloze a v příloze je i dle CPU). Přece jenom na něco je to dobré…

Závěr:
Takovéto informace nejsou potřeba zas tak často, protože rychlost ustupuje jiným kritériím. Ale je spousta aplikací, kde o tu rychlost jde až v prví řadě a pokud máte na výběr z několika možností, tak se to může hodit, minimálně k tomu, aby se na základě toho provedl konkrétní aplikační test.
Pokud máme rychlé úložiště a jde nám o nenáročnost či rychlost, tak s btrfs si to musíme rozmyslet, přece jenom si z toho CPU docela dost ukrajuje, nevím jak by to dopadlo kdyby se použil btrfs RAID0…
Jinak xfs se zdá jako dobrá volba pro nenáročný a rychlý FS ve většině případů (ale ext4 není o mnoho náročnější). Každý si tam musí najít své…

Poznámka k brtrfs a jfs:
Jak jsem zmiňoval, v minulé „hrátce“, jedná se o CentOS 6.4 a jádro 2.6.32, tedy žádná novinka.

btrfs:
Všiml jsem si, že se za stejných okolností chová jinak, tedy přesněji podařilo se zapsat vždy trochu jiné množství dat.
Po skončeném zápisu s hlášením, že už tam neni více místa jsem dostal na df:

/dev/sdf1             22024192  19594732    377140  99% /root/test

Když jsem chvilku počkal a zkusil dopsat:

dd if=/dev/zero /root/test/kuk

Zapsalo se 717 kB a výpis přes df vypadal takto:

/dev/sdf1             22024192  19972932       204 100% /root/test

Více už nešlo, ale obě čísla „free“ se u opakovaného stejného testu lišila, druhé nepatrně a první lítalo zhruba od 200000 do 390000.
A několikrát se mi stalo, pokud jsem vytvořil FS a bezprostředně potom jej zaplnil, že se sice tvářil OK, šlo jej pak i promazat, normálně s ním pracovat, ale jakákoliv akce přes btrfs jen vypsala:

ERROR: 'nějaká hláška vztahující se k příkazu' - Inappropriate ioctl for device

…tak nevím, zkoušel jsem přijít na to kdy-jak-co, ale jediné co jsem zjistil, že se mi to stane jen někdy a to, když bezprostředně po vytvoření jej zaplním…

jfs:
Kombinace RAID5/6→LUKS→LVM→jfs (RAID6 i bez LUKS) po testu (zápis velkých dat, přečtení, smazání, zápis struktury, přečtení, smazání) na umount vykouzlilo doslova BSOD, černý terminál zmodral, umřelo to a restartovalo se to bez jakéhokoliv hlášení jak do terminálu, tak do logu.
Trochu jsem to analyzoval, ale pak jsem se na to vykašlal, je to moc na dlouho, došel sjem jen k tomu, že musí před tím na zařízení (RAID nebo LUKS) existovat FS btrfs a reiserfs, na který se něco zapíše smaže, a odmontuje se (asi jde o to, že se natáhne modul) nevím jestli oba nebo jen některý. Následně před vytvořením jfs se zapíše (nutná podmínka): dd if=/dev/zero of=zařízení bs=512 count=2048, pak se vytvoří jfs, něco se zapíše/smaže provede se vyprázdnění cache sync && echo 3 > /proc/sys/vm/drop_caches && sleep 1, promaže se to přes rm, provede se sync - opět nevím co všechno je nutné,... no a na umount „bác“.
Kombinace roztodivná, a těžko se přihodí, ale při testování to tak náhodou vyšlo a něco tam je zhnilého (může to být klidne „experiemtální“ modul btrfs, těžko říct).

Glosa na závěr: Je „fakt“, že zkušenost z dávné minulosti a z uživatelského hlediska, co šlo z IBM(AIX) bylo pocitově a výkonově horší, než co šlo s SGI(IRIX), a proto SGI(IRIX) skončil…

       

Obrázky

Komentáře

[dumblob]

Mohl bys prosim dat k dispozici skripty, ktere ti vytvorily testy a vysledky vyplotily (predpokladam Gnuplot)?

[Šangala]

Přílohy:

• raidfstest_export.tar.gz (187002 bytů)
• basic_example.tar.gz (386639 bytů)

Mohl, ale bez velkého vysvětlování a bez jakékoliv záruky, je to živé, dávám to do přílohy a upozorňuji, že vzhledem k tomu co to dělá a dělá se to na root-a, tak je to dost nebezpečné, a je se potřeba s tím trochu seznámit, ke spouštění jsou určeny ty souboru 'go-*'…
Pokud je to přerušené, je si potřeba pouklízet (zničit co to vytvořilo RAID, LVM-ko, FS apod.)
Jen s výsledky zklamu, je to pouhopouhý OO Calc.
Některé ods soubory jsem tam dal, linkuje to výstupní soubory z daného adresáře, takže tak, jak tam jsou, jsou k ničemu a data v nich obsažená jsou nesmysly.
Přikládám i výstup z nějakých testů, kde jsou i (jen ukázkové) výstupní soubory a jsou do OO Calc načítány, pokud je to při startu povoleno (soubory obsahují i nepodepsané stupidní řadící makro).