Portál AbcLinuxu, 17. listopadu 2026 10:04


Dotaz: ZFS pomaly zapis

25.12.2014 19:33 dnes je 1.sviatok vianočný
ZFS pomaly zapis
Přečteno: 1119×
Odpovědět | Admin
Ahojte, mam tu storage ktory sa sklada zo 4x SATA2 HDD. Tieto HDD su v RAID10 ktory je softverovy cez mdadm. Ako filesystem je pouzite ZFS.

Riesim problem so ZFS. Zapis mi ide cca 100MB/s a zhruba po minute klesne na 20-30MB/s. Pozeram sa na to cez iotop. Zapis testujem cez dd if=/dev/zero of=test.img . Storage ma 32GB RAM. Nic ine sa tam nezapisuje. checksum, atime a relatime su off. xattr mam nastavene na sa, primarycache metadata, secondarycache all.

Ak dam zapis priamo na /dev/mdX tak sa zapis drzi, taktiez ak to preformatujem napr na ext4. Z toho usudzujem, ze sa jedna o problem na filesysteme.
Nástroje: Začni sledovat (1) ?Zašle upozornění na váš email při vložení nového komentáře.

Odpovědi

25.12.2014 21:30 vskutku
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Odpovědět | | Sbalit | Link | Blokovat | Admin
Bohužel přímo na Vaší otázku odpověď neznám... a trochu se obávám, že kdo ji zná (pokud někdo), nemluví česky a pracuje pro Oracle, takže by to stejně (alespoň veřejně) neřekl nebo minimálně říkat neměl...

Ovšem přesto jedna praktická poznámka, proč si to komplikovat kombinací různých technologií (softraid + ZFS), když vlastností RAID10 dokážete (prakticky) dosáhnout i pomocí samotného ZFS? Viz např.: http://www.zfsbuild.com/2010/06/03/howto-create-striped-mirror-vdev-pool/.

Přímo k Vaší otázce, takhle z voleje mě napadá, že ZFS míval (a z podstaty v alespoň v nějaké míře zřejmě ještě má) problémy s hledáním vhodného místa k zápisu. Obvykle se to projevovalo po určitě době používání (fragmentace) a při vyšším zaplnění disku (vhodných kandidátů pro další zápis už nebylo tolik). Vzhledem k tomu, že tady vyrábíte jeden gigantický soubor pořád pryč, jestli se tam podobný mechanismus řešení kam s ním nespustí.

Nicméně nevím, k čemu přesně to uložiště má sloužit, ale pokud tam zrovna neukládáte proudy dat z průmyslových kamer nebo něco takového, tak podobný test nemusí být z hlediska praktického výkonu moc užitečný.
25.12.2014 22:07 PanZvedavy
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Odpovědět | | Sbalit | Link | Blokovat | Admin
ZFS na linuxovem md? Tak to je pravdepodobne nejhustoznejsi kameňák tohoto roku...a ja myslel, ze uz me nic nemuze prekvapit :)
25.12.2014 23:45 dnes je 1.sviatok vianočný
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Historia ... raz niekto vykopiroval data, zformatoval to a nakopiroval ich na novy filesystem :)
26.12.2014 00:43 lertimir | skóre: 64 | blog: Par_slov
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
To je nesmysl, sofistikované FS potřebují znát HW na kterém běží. btrfs a zfs se musí provozovat přímo na HW. A když tam můžete mít ext4 tak bud je tam nechat a nebo dát přímo ZFS. Navíc díky tomu že ZFS jeden na FUSE tak ztráta výkonu bude znatelná i tak.
Jendа avatar 26.12.2014 01:49 Jendа | skóre: 78 | blog: Jenda | JO70FB
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Navíc díky tomu že ZFS jeden na FUSE…
Nejede.
26.12.2014 16:00 lertimir | skóre: 64 | blog: Par_slov
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Aha. Díky. To mne přibližuje tomu to někdy s ním zkusit.
26.12.2014 03:21 shshshsh
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Takze my chces povedat, ze sofistikovany filesystem nemozem spustit na sofistikovanom hardware ktory neumoznuje passthrough diskovych zariadeni - cize HW je nemozne pouzit?
Jendа avatar 26.12.2014 03:52 Jendа | skóre: 78 | blog: Jenda | JO70FB
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Nebudeš mít funkce jako jsou checksumy per-zařízení a možná to zhorší výkon.
26.12.2014 12:10 Tribicoid
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Odpovědět | | Sbalit | Link | Blokovat | Admin
Sem to zkusil a na mym zfs z-1 nad 4 diskama, na kterych je jeste dmcrypt to zapisuje 600MB/s, akurat já mam zapnutou kompresi lz4 :)

Jeste nevim, proc koukas na iotop, jde to treba i takto: dd if=/dev/zero bs=1M | pipebench > bigfile

bez toho bs=1M to jede asi jen polovicni rychlosti, a to nemam 4k disky, ty asi jo

No a jestli mas vypnuty checksums, nepouzivas kompresi a jde ti jen o rychlost zapisu, tak proc tam vlastne mas zfs? Jinak souhlasím s názorem zfs nad mdadm = masochismus :)
26.12.2014 12:23 Tribicoid
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Co rika zpool get all a zfs get all?
26.12.2014 12:41 DIK
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
...komprimovat nuly se dá i rychleji,že? :-) DIK
26.12.2014 12:52 Tribicoid
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Na blbej benchmark chytrej workaround :)
26.12.2014 13:47 DIK
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
...zkus if=/dev/random bs=1M | pipebench > bigfile a nahoď výsledky. Celkem by mě to zajímalo... DIK
26.12.2014 15:53 Trubicoid
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Tak to je jeste vetsi blbost, nebot random i urandom jsou o dost pomalejsi nez disk, za domaci ukol si to zkus sam.
26.12.2014 12:40 DIK
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Odpovědět | | Sbalit | Link | Blokovat | Admin
Tupuji, že FS ze začátku vše pere do cache (proto 100MB/s) a pak mu dojde volná pamět a je nucen vše zapisovat přímo na železo (pokles na 20-30MB/s.) ZFS není zrovna rychlík na velké datové toky. DIK
26.12.2014 19:18 beny
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Odpovědět | | Sbalit | Link | Blokovat | Admin
100 MB/s je na 4 HDD bida taky. Co ukazuje iostat -x 10, kdyz to pise 100 i kdyz to pise 20-30?
28.12.2014 18:53 venda
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Z praktického provozu:
FreeBSD, později FreeNAS server. 2 pole, každé raidz1 (raid 5), serverová deska, 16 GB ECC ram

první pole 3x serverový SATA Seagate Constellation ES.3: každý disk samostatně dá zápis cca 150 MB/s, v poli je zápis maximálně 100 MB/s

druhé pole 4x nějaký NAS disky 5900 rpm + jeden serverový western digital jako zápisová cache (bez ní to jelo průměrně 15 MB/s a strašně se to kousalo a spousta programů při zápisu díky tomu timeoutovala), teď zápis maximálně 60 MB/s, mazání velkého souboru (cca 500 GB) způsobí "zatuhnutí" pole na cca 10 minut, rovněž rychlost tohoto pole je ovlivněna teplotou serveru/disků, čím nižší, tím lepší
29.12.2014 11:22 beny
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Stripe ze dvou mirroru (pro ctyri disky) bych cekal nekde na urovni samotneho disku, dokonce neco rychlejsi pro velke bloky.

raidz je jiny pripad.

Založit nové vlákno • Nahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267, (c) 1999-2007 Stickfish s.r.o.