Vyslo ZFS on Linux 0.6.3

17.6.2014 08:33 | Přečteno: 2399× | Open-Source

Pred 5ti dny vysla nova verze ZFS on Linux. Podle meho prvni release, ktery je opravdu hodny produkcniho nasazeni.

Kdyz jsme ve vpsFree.cz nasazovali poprve ZFS on Linux, slo o verzi 0.6.2, kterou Brian Behlendorf (zamestnanec LLNL, jejich fulltime vyvojar ZFS on Linux) prohlasil za produkcni, netrvalo dlouho, abychom se presvedcili, ze az tak produkcni release to nebyl. Nicmene o dva-tri mesice pozdeji s nekolika commity zlepsujici spravu pameti se veci hodne zlepsily a od te doby se nebojime pouzivat ZFS in production.

Od release 0.6.2 priteklo do gitu ZoL hodne zmen, ktere zlepsuji stabilitu, vykon i pouzitelnost. Novy release tedy obsahuje (kopiruju z oznameni o vydani):

• Compatible with kernels up to Linux 3.14.
• A smoother write throttle for consistent performance under load.
• Smarter caching to improve the cache hit rate for certain workloads.
• Support for Posix style ACLs.
• Support for the immutable and append-only file attributes.
• Support for mounting filesystems with relatime style updates.
• SELinux integration through four new dataset properties.
• Systemd support for better distribution integration.
• A new ZFS Event Daemon (ZED) for pool monitoring and management.
• Support for aarch64 and sparc64 architectures.
• Many performance improvements.
• Over 200 bug fixes.

       

Komentáře

[smazáno]

Hezke. Muze tohle eventualne skoncit v mainline-u nebo tam jsou nejake licencni problemy ci podobne?

[snajpa]

CDDL neni kompatibilni s GPL tak, aby se dal kod pod obema licencema vydat jako jeden tarball, takze bohuzel. Leda ze by nekdo kompletne reimplementoval ZFS pod GPL, coz se nestane - a ani by to asi nedavalo moc smysl, to uz dava lepsi smysl poradne odladit BTRFS.

[smazáno]

Ah. Jsem si prave myslel ze zfsonlinux je prepis pod GPL.

Takze ZFS on Linux je port zalozeny na zdrojakach ZFS originalne od Sunu?

[snajpa]

Presne tak, je to port ZFS z Illumosu (svobodny fork Solaris jadra) pod CDDL + lepici vrstva 'SPL' (Solaris Porting Layer), ta je GPL.

[Adolf]

Obávám se, že ZFS skoro nikdo nepoužívá, takže není co řešit...

[Bedňa]

Softvér pod týmito fašistickými licenciami si nacpi do prdele. Licencie ktoré umožňujú nasrať tam patenty sú slobodné ako Jachimpvské bane za komančov.

Ďakujeme ti za tvoj hodnotný príspevok.

[snajpa]

Az na to, ze je to GPL, ktera je z tech dvou vic fasisticka a znemoznuje prifareni CDDL kodu k ni mohl bych ten tvuj vyrok parafrazovat, ale predstavit si to zvladnes sam

[Bedňa]

Jasne, nacpať do licencie možnosť ju uzavrieť, alebo zaťažiť patentami je fakt slobodné. Ja viem že ľuďom stále nedochádza že moja sloboda musí garantovať slobodu všetkým, ale chápem že to potrebuje čas aby sa ľudia zobudili a začali si pomáhať.

[snajpa]

Kdyz myslis Nastesti svoboda je i o tom, ze jeden Bedna nemuze vsem nadiktovat jednu licenci

[Bedňa]

Jasne, ale môžem ti do toho slobodne kecať

[frdrx]

Správně.

[David Jaša]

Jasne, nacpať do licencie možnosť ju uzavrieť, alebo zaťažiť patentami je fakt slobodné.

V těchhle dvou ohledech jsou GPL2 a CDDL identické.

[frdrx]

Špatně.

[JanM]

Nicméně distribuce by to mohly řešit podobně jako s proprietárními ovladači: při instalaci se to stáhne či zkompiluje, aktualizace pak může řešit DKMS. (Což ovšem třebas Arch neumí.) Na druhou stranu, kdo by se s tím pro těch pár lidí dělal...

[kralyk z abclinuxu]

Což ovšem třebas Arch neumí.

Orly?

[David Jaša]

CDG

[xkucf03]

slo o verzi 0.6.2, kterou Brian Behlendorf (zamestnanec LLNL, jejich fulltime vyvojar ZFS on Linux) prohlasil za produkcni, netrvalo dlouho, abychom se presvedcili, ze az tak produkcni release to nebyl

Zajímavý rozdíl v přístupu. Btrfs mi dodnes vypisuje:

WARNING! - Btrfs v0.20-rc1 IS EXPERIMENTAL
WARNING! - see http://btrfs.wiki.kernel.org before using

a přitom je už delší dobu celkem dobře použitelné.

[snajpa]

Narozdil od ZFS neproslo zatim BTRFS ohnem v podobe realne zateze na necem vetsim, nez jsou desktopy a laptopy. ZFS je v tomhle davno vykadene, stacilo tak odladit akorat ten konkretni linuxovy port, aby pod Linuxem bezel, co nejlip. Proto bude ZFS jeste peknych par mesicu a troufam si roct let lepsi volbou na takove use-case, jako mame treba my. A v nekterych ohledech ani nema sanci ZFS dohnat - uz jenom proto, ze napriklad cachovani nechava na opravdu hloupe linuxove VFS cache. Nestalo se mi s ni, aby stroj mej 100% hitrate, kdezto s ARC je to vcelku bezna situace.

[snajpa]

* vyladene )) .... tyhlety mobilni klavesnice mne jednou polozi smichy

[snajpa]

Příloha:

• 2014-06-17-204050_1366x768_scrot.png (89462 bytů)

Dukaz misto slibu. Srovnej cislo read (= pocet readu celkem) s miss (= ARC miss) a jeste s l2miss (= miss i z L2ARC - SSD, tedy to je realne ten pocet readu, co dopadne na disky). Na screenshotu jsou vybrane ty nejvytizenejsi vpsFree stroje. Tohle bez ZFS neslo, at jsem se mohl snazit, jak jsem chtel.

A diky dedicated SLOG device (pro ZIL) se na disky periodicky *asynchronne* flushuji dirty data, synchronni zapisy vytezuji SSD (kde Intel DC S3700 maji nejvetsi IO konzistenci v case z toho, co se vyrabi - a jsou schopne davat stabilne vic jak 10k IOPS). Disky u nas maji tak vcelku flakarnu - ve srovnani s predchozi situaci, kdy to absolutne nestihaly, celkem rozdil.

BTRFS by v tomhle pomohlo jedine tak, ze by pri zapisovani disky az tolik neseekovaly (jelikoz jsou zapisy taky serializovane, jako u ZFS, nicmene nema dedicated SLOG device) a ze nema bottleneck na CPU v podobe 1vlakenneho journalu (jako ext4) - ale moc rozdil by to ve finale nebyl. Staci, aby se seslo par vytizenejsich databazi na jednom stroji a je dokonano.

[snajpa]

Tim samozrejme nerikam, ze BTRFS nefandim. Ono pouzivat out-of-tree kod neni uplne med a ma to svoje problemy. Tesim se na to, az budeme moct ZFS nahradit necim lepsim. Ale nejdriv musi byt cim

[Michal Kubeček]

Narozdil od ZFS neproslo zatim BTRFS ohnem v podobe realne zateze na necem vetsim, nez jsou desktopy a laptopy.

Mohu se zeptat na zdroj této vaší informace?

[snajpa]

Kolik distribuci urcenych a komercne podporovanych pro enterprise pouziti ma BTRFS jako default? Jinak, nez ruznorodou zatezi se filesystem neoveri. A tu neni jak nasimulovat.

[Michal Kubeček]

Proč předpokládáte, že k tomu, aby filesystém "prošel ohněm v podobě reálné zátěže na něčem větším, než jsou desktopy a laptopy", je nutné, aby byl v některé enterprise distribuci byl jako default? Myslíte si snad, že firmy používající Linux v enterprise prostředí používají jen defaultní nastavení?

[snajpa]

Jak rikam rad - apply 20 seconds of thinking Cloveku, co zjevne chce byt v opozici, nema cenu argumentovat, dokud se nad tim sam nezamysli. Jinak to bude argument - nesmyslna opozice - argument - jest nesmyslnejsi opozice, atd. To se mi, uprimne rikam, nechce

[Michal Kubeček]

Tak vám to zkusím přiblížit jinak: ještě před měsícem nebyla žádná enterprise linuxová distribuce, která by jako default nabízela XFS. Chcete tedy i o XFS tvrdit to, že "neprošel ohněm … atd."? A stejně tak o všem ostatním, co je sice podporované, ale musíte si to sám zapnout?

[cthulhu]

btrfs je např. v RHEL 7 experimentální (no support), v Solarisu je ZFS v produkčním modu od roku 2006, předpokládejme ze v RHEL8 už tomu bude jinak (2016+?), takže - 10 let náskok?

[Michal Kubeček]

Já ale netvrdil, že ZFS nemá v tomto ohledu náskok (není to ovšem 10 let ale 7). Jen jsem se ptal kolegy, jak došel ke svému tvrzení, že BtrFS ještě není otestovaný na ničem jiném než na desktopech nebo laptopech. Protože pochybuji, že má k dispozici tak komplexní data o používání filesystémů v enterprise linuxových distribucích, aby o ně šlo takové tvrzení opřít.

[Michal Kubeček]

není to ovšem 10 let ale 7

To samozřejmě za předpokladu, že je správné vaše tvrzení, že ZFS je v Solarisu podporovaný od roku 2006.

[cthulhu]

podpora pro ZFS byla zahrnuta do Solarisu 10 Update 2 (červen 2006)

[cthulhu]

komplexní data bych chtěl vidět taky:) moje zkušenost z enterprise (střelba od boku,počítat na bajty to nehodlám) - Solaris: 40% UFS, 40% ZFS, 10% VxFS, 10% Oracle ASM; Linux: 30% ext3, 50% ext4, 20% ASM, 0% btrfs/XFS/JFS/etc. ZFS má náskok 10 let oproti RHEL8, který vyjde imho nejdříve 2016. Je pikantní, že ten "progresivní" hráč na linuxovém poli je momentálně Oracle ("up to date" kernel,Dtrace on Linux, Ksplice, btrfs:)..

[Michal Kubeček]

Linux: … 0% btrfs/XFS/JFS/etc

Tak to je hodně špatný odhad. JFS je opravdu výjimkou a BtrFS se ještě moc nerozšířil, ale XFS je na (enterprise) Linuxu mnohem rozšířenější, než si představujete. A nelze zapomínat ani na GFS nebo OCFS2.

ZFS má náskok 10 let oproti RHEL8, který vyjde imho nejdříve 2016.

RHEL je snad jediná enterprise linuxová distribuce? SLES 11 SP3, který vyšel před rokem, BtrFS podporuje.

[cthulhu]

to není odhad,to jsou moje vlastní zkušenosti z několika velkých firem, čímž netvrdím,ze se minoritní FS nepoužívají vůbec,jenom ze se pro ně hůř hledá uplatnění. aplikace se řadí na ty,kde je výkon šumák (ext4) a na ty kde je potřeba výkon, pak jsou náklady na jeho dosažení vedlejší (SPARC, ASM,veritas..),protože většinu rozpočtu stejně sežerou náklady na vývojáře a licence sw. To SUSE beru,nepoužívám,nevěděl jsem:) Oracle až v 6.5,takže "včera".

[Michal Kubeček]

to není odhad,to jsou moje vlastní zkušenosti z několika velkých firem

…neboli odhad na základě relativně malého vzorku. Mé odhady vycházejí z toho, co vidím u bugů, které projdou L3, takže to také není úplně reprezentativní vzorek, ale přeci jen bych řekl, že je to pokrytí rovnoměrnější.

[26246246]

Moje skusenosti s enterprise ( 3 velke firmy = celkovy pocet masin ):

60k Solaris => UFS / VxFS -> do 2ch rokov sa zmigrovalo 1) 40% ZFS 2) 60% Linux (VMware) ext3/4

20k Linux -> ext3/ext4/vxfs (ci uz RHEL/SLES)

[Michal Kubeček]

3 velke firmy

Tři. A v tom opravdu nevidíte problém? Kolik tisíc strojů, to není až tak podstatné, protože je obvyklé, že ve stejné firmě se pro stejný účel bude používat stejná nebo podobná konfigurace, takže je celkem jedno, jestli je těch strojů deset nebo deset tisíc.

[92859205890]

Nie nie je. Vidno ze mate obmedzeny pohlad zo SuSe Velke firmy su vacsinou zlozene z viacerich firiem po akviziciach. (1) z tych firiem je kombinaciou 7mich mensich.

Dalsie 2 robia s XY zakaznikmi (banky,pharma firmy,retail atd). A tato skusenost je zo strany kde si zakaznik vyberal environment a nie zo strany kde sme mi nutili standardizovane riesenie zakaznikovi...cize to prostredie je velmi heterogenne.

Dalsia vec je ze take firmy sa neupisuju jednemu vendorovi. Napr. jedna nemenovana banka mala support aj SW dev u nas aj v RH, kde RH musel respektovat patche providenute nami (ked s celkovou funkionalitou / riesenim bol zakaznik spokojnejsi etc).

Samozrejme suhlasim s tym ze ani takto velky pocet serverov a firiem(zakaznikov) nemoze sluzit ako objektivna vzorka.

[Michal Kubeček]

Nie nie je. Vidno ze mate obmedzeny pohlad zo SuSe

Možná, ale to, jak často XFS vidím v konfiguracích zákazníků (nemluvě o tom, že jsou hlášené bugy i přímo na něj), je IMHO dostatečné na to, abych mohl tvrdit, že "Linux … XFS … 0%" neodpovídá realitě v enterprise sféře. A co se RH týká, myslíte, že by se jen tak rozhodli dát XFS v RHEL 7 jako default, kdyby ho doteď v předchozích verzích (skoro) nikdo nepoužíval?

[xkucf03]

BTW: XFS používá i Samsung pro svoje televize.

[snajpa]

Jinak ja se Brianovi ani nedivim. Tim prohlasenim za stabilni na ZFSonLinux bandwagon naskocilo nemalo lidi, kteri v ZFS videli velky potencial, diky cemuz se prave podarilo poradne odladit spravu pameti. Ze by ZFS zralo data proste nehrozi, protoze jedine, co je na ZoL unikatni, je to naroubovani na Linux, ale ne manipulace s daty samotnymi. ZFS samo o sobe neni experimentalni filesystem uz davno.

[PavelC]

Mozna hloupej dotaz, ale proc nepouzivate FreeBSD kde ma ZFS uz nejakou historii a proverenou funkcnost ? Exoticke sitovky nebo jiny hw ?

[snajpa]

Protoze FreeBSD nema pouzitelnou OS-level virtualizaci, kterou by slo nabidnout clenum. Navic s FreeBSD tolik lidi neumi.

[cthulhu]

zfs on linux je bohužel jen experiment bez ofic. podpory, ZFS v Solarisu 11 už je zas o kousek dál (šifrování,spousta patchů),což se do forku obavám se nedostane. otestoval jsem 0.6.3 (zatim pouze random read), oproti ext4 pomalejší cca o 30%.

[snajpa]

A jak jsi to testoval? 90ti kontejnery, ktery kazdy dela neco jneho? :) Mne bohate staci, ze na ZoL 'experimentu' bezi Blue Gene/Q v LLNL, a ze tedy existuje nekdo, kdo ma motivaci to udrzovat. ZFS v Sol11 je dal o to sifrovani, ale OpenZFS se taky nemalo pouziva, minimalne v Illumosu je to nejaktivneji vyvijena komponenta. Navic core lidi ze Sunu n(jmenovite Matt Ahrens) nedelaji na Oracle ZFS, ale te Illumosi variante. Jak rikam, ZoL je v podstate porad syncovany s Illumos ZFS codebase - akorat ted pred release 0.6.3 se to syncovani pozastavilo, aby se ten codebase ustabilizoval a dalo se to releasnout. Ted zas ocelavam od Briana naval commitu :)

[snajpa]

Btw, to sifrovani je konkretneji v Sol11.1, ale uz jsem videl nekde na githubu zfs-crypto (zalozene na ZoL), jenom netusim, co je to vlastne za kod - asi nejaka ne uplne licencne legit vec, nejsem si jisty.

[cthulhu]

jak bych to asi mohl pořádně otestovat,když 0.6.3 vyšla "včera"?:) takhle se to chovalo na mem testovacim CentOSu 6.5 + consumer SSD. vic casu jsem tomu dát zatím nemohl. zfs-crypto neznám, imho nový kód,jinak oracle právníci bububu. Já illumosu a free kódu fandim, ale kdo z firem to bude realně používat..síla Solarisu vždy byla v supportu,což fork nemůže velkým zákazníkům nabídnout. jen velcí zákazníci jsou dnes ochotni priplacet za Unix,ostatním stačí Intel + win/lin a nemusí instalovat free illumos. just 5 cents

[snajpa]

Tak ono neni potreba pouzivat budouci cas, ono se nad Illumosem nejaky ten byznys uz par firem snazi delat. Mne je vcelku jedno, jestli jsou to vsichni, nebo jenom 2.5 odvazlivce, dokud delaji svoji praci poradne a da se to pouzivat. Nevedu svatou valku za ZFS, natoz za Illumos, jenom se snazim ukazat svoji zkusenost, ze to funguje a dokonce v konkretnim pripad vpsFree mnohem lip, nez vsechny linuxove alternativy to the date.

[RXD]

Jsem rad ze vyvoj dal takto pokracuje. Ja sam pouzivam ZFS spise na FreeBSD, ale it tak ZoL fandim. Na druhou stranu precejen je vyvoj ZFS na Ilumos/FreeBSD o trochu dal nez na Linuxu, napriklad bookmarky (coz jsem schledal jako vybornou vec). Ale i to se casem do ZoL probubla. Myslim ze 0.6.3 by ale opravdu mohla byt konecne dobra verze a jsem rad, ze to nekdo "opravdu" zkousi (i kdyz me fungovala dobre i 0.6.2). Mozna casem zase rozjedu nejakou ZoL masinu, zatim mi staci FreeBSD. Je jen skoda (i kdyz je to pochopitelne), ze Oracle vyvyji ZFS uzavrene, z dlouhodobeho hlediska to klidne muze znamenat i marginalizaci az btrfs dospeje.

Muj sen je ten aby se stalo ZFS v nejakem kompatibilnim modu (omezene featury) multiplatformnim fs. Uz dnes tak minimalne ve verzi 0.6.2 slo pracovat bez problemu v linux, na macku a freebsd. Jeste nejaky userspace driver na win a je to:) V tomto je zatim btrfs pozadu. Pominu-li FAT, tak asi nejlepe je na tom EXT2.