Dotaz: ZFS pomaly zapis

[dnes je 1.sviatok vianočný]

Ahojte, mam tu storage ktory sa sklada zo 4x SATA2 HDD. Tieto HDD su v RAID10 ktory je softverovy cez mdadm. Ako filesystem je pouzite ZFS.

Riesim problem so ZFS. Zapis mi ide cca 100MB/s a zhruba po minute klesne na 20-30MB/s. Pozeram sa na to cez iotop. Zapis testujem cez dd if=/dev/zero of=test.img . Storage ma 32GB RAM. Nic ine sa tam nezapisuje. checksum, atime a relatime su off. xattr mam nastavene na sa, primarycache metadata, secondarycache all.

Ak dam zapis priamo na /dev/mdX tak sa zapis drzi, taktiez ak to preformatujem napr na ext4. Z toho usudzujem, ze sa jedna o problem na filesysteme.

Odpovědi

[vskutku]

Bohužel přímo na Vaší otázku odpověď neznám... a trochu se obávám, že kdo ji zná (pokud někdo), nemluví česky a pracuje pro Oracle, takže by to stejně (alespoň veřejně) neřekl nebo minimálně říkat neměl...

Ovšem přesto jedna praktická poznámka, proč si to komplikovat kombinací různých technologií (softraid + ZFS), když vlastností RAID10 dokážete (prakticky) dosáhnout i pomocí samotného ZFS? Viz např.: http://www.zfsbuild.com/2010/06/03/howto-create-striped-mirror-vdev-pool/.

Přímo k Vaší otázce, takhle z voleje mě napadá, že ZFS míval (a z podstaty v alespoň v nějaké míře zřejmě ještě má) problémy s hledáním vhodného místa k zápisu. Obvykle se to projevovalo po určitě době používání (fragmentace) a při vyšším zaplnění disku (vhodných kandidátů pro další zápis už nebylo tolik). Vzhledem k tomu, že tady vyrábíte jeden gigantický soubor pořád pryč, jestli se tam podobný mechanismus řešení kam s ním nespustí.

Nicméně nevím, k čemu přesně to uložiště má sloužit, ale pokud tam zrovna neukládáte proudy dat z průmyslových kamer nebo něco takového, tak podobný test nemusí být z hlediska praktického výkonu moc užitečný.

[PanZvedavy]

ZFS na linuxovem md? Tak to je pravdepodobne nejhustoznejsi kameňák tohoto roku...a ja myslel, ze uz me nic nemuze prekvapit :)

[dnes je 1.sviatok vianočný]

Historia ... raz niekto vykopiroval data, zformatoval to a nakopiroval ich na novy filesystem :)

[lertimir]

To je nesmysl, sofistikované FS potřebují znát HW na kterém běží. btrfs a zfs se musí provozovat přímo na HW. A když tam můžete mít ext4 tak bud je tam nechat a nebo dát přímo ZFS. Navíc díky tomu že ZFS jeden na FUSE tak ztráta výkonu bude znatelná i tak.

[Jendа]

Navíc díky tomu že ZFS jeden na FUSE…

Nejede.

[lertimir]

Aha. Díky. To mne přibližuje tomu to někdy s ním zkusit.

[shshshsh]

Takze my chces povedat, ze sofistikovany filesystem nemozem spustit na sofistikovanom hardware ktory neumoznuje passthrough diskovych zariadeni - cize HW je nemozne pouzit?

[Jendа]

Nebudeš mít funkce jako jsou checksumy per-zařízení a možná to zhorší výkon.

[Tribicoid]

Sem to zkusil a na mym zfs z-1 nad 4 diskama, na kterych je jeste dmcrypt to zapisuje 600MB/s, akurat já mam zapnutou kompresi lz4 :)

Jeste nevim, proc koukas na iotop, jde to treba i takto: dd if=/dev/zero bs=1M | pipebench > bigfile

bez toho bs=1M to jede asi jen polovicni rychlosti, a to nemam 4k disky, ty asi jo

No a jestli mas vypnuty checksums, nepouzivas kompresi a jde ti jen o rychlost zapisu, tak proc tam vlastne mas zfs? Jinak souhlasím s názorem zfs nad mdadm = masochismus :)

[Tribicoid]

Co rika zpool get all a zfs get all?

[DIK]

...komprimovat nuly se dá i rychleji,že? DIK

[Tribicoid]

Na blbej benchmark chytrej workaround :)

[DIK]

...zkus if=/dev/random bs=1M | pipebench > bigfile a nahoď výsledky. Celkem by mě to zajímalo... DIK

[Trubicoid]

Tak to je jeste vetsi blbost, nebot random i urandom jsou o dost pomalejsi nez disk, za domaci ukol si to zkus sam.

[DIK]

Tupuji, že FS ze začátku vše pere do cache (proto 100MB/s) a pak mu dojde volná pamět a je nucen vše zapisovat přímo na železo (pokles na 20-30MB/s.) ZFS není zrovna rychlík na velké datové toky. DIK

[beny]

100 MB/s je na 4 HDD bida taky. Co ukazuje iostat -x 10, kdyz to pise 100 i kdyz to pise 20-30?

[venda]

Z praktického provozu:
FreeBSD, později FreeNAS server. 2 pole, každé raidz1 (raid 5), serverová deska, 16 GB ECC ram

první pole 3x serverový SATA Seagate Constellation ES.3: každý disk samostatně dá zápis cca 150 MB/s, v poli je zápis maximálně 100 MB/s

druhé pole 4x nějaký NAS disky 5900 rpm + jeden serverový western digital jako zápisová cache (bez ní to jelo průměrně 15 MB/s a strašně se to kousalo a spousta programů při zápisu díky tomu timeoutovala), teď zápis maximálně 60 MB/s, mazání velkého souboru (cca 500 GB) způsobí "zatuhnutí" pole na cca 10 minut, rovněž rychlost tohoto pole je ovlivněna teplotou serveru/disků, čím nižší, tím lepší

[beny]

Stripe ze dvou mirroru (pro ctyri disky) bych cekal nekde na urovni samotneho disku, dokonce neco rychlejsi pro velke bloky.

raidz je jiny pripad.