abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 06:00 | Nová verze

Po necelém roce od vydání verze 0.67 byla vydána verze 0.68 populárního telnet a ssh klienta PuTTY. Podrobnosti v přehledu změn. Řešeny jsou také bezpečnostní chyby.

Ladislav Hagara | Komentářů: 0
včera 21:32 | Nasazení Linuxu

Canonical představuje nejnovější verzi chytré helmy DAQRI s Ubuntu pro rozšířenou realitu. K vidění bude příští týden v Barceloně na veletrhu Mobile World Congress 2017.

Ladislav Hagara | Komentářů: 0
včera 21:31 | Pozvánky

Pro zájemce o hlubší znalosti fungování operačních systémů připravila MFF UK nový předmět Pokročilé operační systémy, v rámci něhož se vystřídají přednášející nejen z řad pracovníků fakulty, ale dorazí také odborníci ze společností AVAST, Oracle, Red Hat a SUSE. Tento předmět volně navazuje na kurz Operační systémy ze zimního semestru, ale pokud máte praktické zkušenosti odjinud (například z přispívání do jádra Linuxu) a chcete si

… více »
Martin Děcký | Komentářů: 4
včera 21:30 | Pozvánky

Czech JBoss User Group Vás srdečně zve na setkání JBUG v Brně, které se koná ve středu 1. března 2017 v prostorách Fakulty Informatiky Masarykovy Univerzity v místnosti A318 od 18:00. Přednáší Tomáš Remeš a Matěj Novotný na téma CDI 2.0 - New and Noteworthy. Více informací na Facebooku a na Twitteru #jbugcz.

mjedlick | Komentářů: 0
20.2. 23:45 | Zajímavý software

Na blogu Qt bylo představeno Qt 3D Studio. Jedná se o produkt dosud známý pod názvem NVIDIA DRIVE™ Design Studio. NVIDIA jej věnovala Qt. Jedná se o několik set tisíc řádků zdrojového kódu. Qt 3D Studio bude stejně jako Qt k dispozici jak pod open source, tak pod komerční licencí. Ukázka práce s Qt 3D Studiem na YouTube.

Ladislav Hagara | Komentářů: 10
20.2. 17:50 | Komunita

Nadace The Document Foundation (TDF) zastřešující vývoj svobodného kancelářského balíku LibreOffice slaví 5 let od svého oficiálního vzniku. Nadace byla představena 28. září 2010. Formálně byla založena ale až 17. února 2012.

Ladislav Hagara | Komentářů: 0
20.2. 12:50 | Komunita

Mozilla.cz informuje, že dosud experimentální funkce Page Shot z programu Firefox Test Pilot (zprávička) se stane součástí Firefoxu. Page Shot je nástroj pro vytváření snímků webových stránek. Umí výběr oblasti, prvku stránky (např. odstavce), nebo uložení snímku celé stránky. Snímky lze ukládat na disk nebo nahrávat na server Mozilly. Nedávno bylo oznámeno, že se součástí Firefoxu stane Activity Stream.

Ladislav Hagara | Komentářů: 33
20.2. 04:10 | Nová verze

Po 10 týdnech vývoje od vydání Linuxu 4.9 (zprávička) oznámil Linus Torvalds, mj. již 20 let žijící v USA, vydání Linuxu 4.10 (LKML). Přehled nových vlastností a vylepšení například na Kernel Newbies a v Jaderných novinách (1, 2 a 3). Kódové jméno Linuxu 4.10 je Fearless Coyote.

Ladislav Hagara | Komentářů: 24
19.2. 15:55 | Zajímavý projekt

Vyzkoušet si příkazy a vyřešit několik úkolů lze na stránkách Commandline Challenge (CMD Challenge). Úkoly lze řešit různými způsoby, důležitý je výsledek. Zdrojové kódy jsou k dispozici na GitHubu pod licencí MIT.

Ladislav Hagara | Komentářů: 18
18.2. 17:35 | Bezpečnostní upozornění

Německá Bundesnetzagentur (obdoba českého ČTU) zakázala na německém území prodej panenky Cayla kvůli „špionáži“ dětí. Tato elektronická hračka obsahuje mikrofon, reproduktor a kameru a bezdrátové komunikační rozhraní, pomocí kterého se hračka připojuje na servery výrobce. Takovýmto způsobem může hračka pomocí umělé inteligence „odpovídat“ na dotazy dítěte. Hlavní problém bude ale asi někde jinde, podle prvotních zpráv může

… více »
Petr Tomášek | Komentářů: 34
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (14%)
 (2%)
 (71%)
 (3%)
 (10%)
Celkem 680 hlasů
 Komentářů: 63, poslední dnes 11:29
Rozcestník

Dotaz: ZFS pomaly zapis

25.12.2014 19:33 dnes je 1.sviatok vianočný
ZFS pomaly zapis
Přečteno: 725×
Ahojte, mam tu storage ktory sa sklada zo 4x SATA2 HDD. Tieto HDD su v RAID10 ktory je softverovy cez mdadm. Ako filesystem je pouzite ZFS.

Riesim problem so ZFS. Zapis mi ide cca 100MB/s a zhruba po minute klesne na 20-30MB/s. Pozeram sa na to cez iotop. Zapis testujem cez dd if=/dev/zero of=test.img . Storage ma 32GB RAM. Nic ine sa tam nezapisuje. checksum, atime a relatime su off. xattr mam nastavene na sa, primarycache metadata, secondarycache all.

Ak dam zapis priamo na /dev/mdX tak sa zapis drzi, taktiez ak to preformatujem napr na ext4. Z toho usudzujem, ze sa jedna o problem na filesysteme.

Odpovědi

25.12.2014 21:30 vskutku
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Bohužel přímo na Vaší otázku odpověď neznám... a trochu se obávám, že kdo ji zná (pokud někdo), nemluví česky a pracuje pro Oracle, takže by to stejně (alespoň veřejně) neřekl nebo minimálně říkat neměl...

Ovšem přesto jedna praktická poznámka, proč si to komplikovat kombinací různých technologií (softraid + ZFS), když vlastností RAID10 dokážete (prakticky) dosáhnout i pomocí samotného ZFS? Viz např.: http://www.zfsbuild.com/2010/06/03/howto-create-striped-mirror-vdev-pool/.

Přímo k Vaší otázce, takhle z voleje mě napadá, že ZFS míval (a z podstaty v alespoň v nějaké míře zřejmě ještě má) problémy s hledáním vhodného místa k zápisu. Obvykle se to projevovalo po určitě době používání (fragmentace) a při vyšším zaplnění disku (vhodných kandidátů pro další zápis už nebylo tolik). Vzhledem k tomu, že tady vyrábíte jeden gigantický soubor pořád pryč, jestli se tam podobný mechanismus řešení kam s ním nespustí.

Nicméně nevím, k čemu přesně to uložiště má sloužit, ale pokud tam zrovna neukládáte proudy dat z průmyslových kamer nebo něco takového, tak podobný test nemusí být z hlediska praktického výkonu moc užitečný.
25.12.2014 22:07 PanZvedavy
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
ZFS na linuxovem md? Tak to je pravdepodobne nejhustoznejsi kameňák tohoto roku...a ja myslel, ze uz me nic nemuze prekvapit :)
25.12.2014 23:45 dnes je 1.sviatok vianočný
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Historia ... raz niekto vykopiroval data, zformatoval to a nakopiroval ich na novy filesystem :)
26.12.2014 00:43 lertimir | skóre: 59 | blog: Par_slov
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
To je nesmysl, sofistikované FS potřebují znát HW na kterém běží. btrfs a zfs se musí provozovat přímo na HW. A když tam můžete mít ext4 tak bud je tam nechat a nebo dát přímo ZFS. Navíc díky tomu že ZFS jeden na FUSE tak ztráta výkonu bude znatelná i tak.
Jendа avatar 26.12.2014 01:49 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Navíc díky tomu že ZFS jeden na FUSE…
Nejede.
Vox agroferti, vox Dei.
26.12.2014 16:00 lertimir | skóre: 59 | blog: Par_slov
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Aha. Díky. To mne přibližuje tomu to někdy s ním zkusit.
26.12.2014 03:21 shshshsh
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Takze my chces povedat, ze sofistikovany filesystem nemozem spustit na sofistikovanom hardware ktory neumoznuje passthrough diskovych zariadeni - cize HW je nemozne pouzit?
Jendа avatar 26.12.2014 03:52 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Nebudeš mít funkce jako jsou checksumy per-zařízení a možná to zhorší výkon.
Vox agroferti, vox Dei.
26.12.2014 12:10 Tribicoid
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Sem to zkusil a na mym zfs z-1 nad 4 diskama, na kterych je jeste dmcrypt to zapisuje 600MB/s, akurat já mam zapnutou kompresi lz4 :)

Jeste nevim, proc koukas na iotop, jde to treba i takto: dd if=/dev/zero bs=1M | pipebench > bigfile

bez toho bs=1M to jede asi jen polovicni rychlosti, a to nemam 4k disky, ty asi jo

No a jestli mas vypnuty checksums, nepouzivas kompresi a jde ti jen o rychlost zapisu, tak proc tam vlastne mas zfs? Jinak souhlasím s názorem zfs nad mdadm = masochismus :)
26.12.2014 12:23 Tribicoid
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Co rika zpool get all a zfs get all?
26.12.2014 12:41 DIK
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
...komprimovat nuly se dá i rychleji,že? :-) DIK
26.12.2014 12:52 Tribicoid
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Na blbej benchmark chytrej workaround :)
26.12.2014 13:47 DIK
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
...zkus if=/dev/random bs=1M | pipebench > bigfile a nahoď výsledky. Celkem by mě to zajímalo... DIK
26.12.2014 15:53 Trubicoid
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Tak to je jeste vetsi blbost, nebot random i urandom jsou o dost pomalejsi nez disk, za domaci ukol si to zkus sam.
26.12.2014 12:40 DIK
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Tupuji, že FS ze začátku vše pere do cache (proto 100MB/s) a pak mu dojde volná pamět a je nucen vše zapisovat přímo na železo (pokles na 20-30MB/s.) ZFS není zrovna rychlík na velké datové toky. DIK
26.12.2014 19:18 beny
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
100 MB/s je na 4 HDD bida taky. Co ukazuje iostat -x 10, kdyz to pise 100 i kdyz to pise 20-30?
28.12.2014 18:53 venda
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Z praktického provozu:
FreeBSD, později FreeNAS server. 2 pole, každé raidz1 (raid 5), serverová deska, 16 GB ECC ram

první pole 3x serverový SATA Seagate Constellation ES.3: každý disk samostatně dá zápis cca 150 MB/s, v poli je zápis maximálně 100 MB/s

druhé pole 4x nějaký NAS disky 5900 rpm + jeden serverový western digital jako zápisová cache (bez ní to jelo průměrně 15 MB/s a strašně se to kousalo a spousta programů při zápisu díky tomu timeoutovala), teď zápis maximálně 60 MB/s, mazání velkého souboru (cca 500 GB) způsobí "zatuhnutí" pole na cca 10 minut, rovněž rychlost tohoto pole je ovlivněna teplotou serveru/disků, čím nižší, tím lepší
29.12.2014 11:22 beny
Rozbalit Rozbalit vše Re: ZFS pomaly zapis
Stripe ze dvou mirroru (pro ctyri disky) bych cekal nekde na urovni samotneho disku, dokonce neco rychlejsi pro velke bloky.

raidz je jiny pripad.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.