Stratis 1.0

V srpnu loňského roku s vydáním Red Hat Enterprise Linuxu 7.4 společnost Red Hat oznámila, že končí se souborovým systémem Btrfs. U konkurenčního souborového systému ZFS má problém s licencí CDDL. Vlastnosti Btrfs a ZFS by měl časem nabídnout podporovaný Stratis (GitHub). V pátek byl vydán Stratis 1.0. Více v často kladených dotazech (FAQ) a v pdf dokumentu Stratis Software Design.

2.10.2018 12:33 | Ladislav Hagara | Zajímavý software

Komentáře

[Max]

Dívám se do FAQ a zatím mi to nepřijde nijak úchvatné.
Zdar Max

[jdsulin2]

Z toho FAQ jsem nejak nepochopil, co to vlastne umi :)

[Sid]

vytiahnut peniaze ktore zaplatite za support :) ale vaznejsie, nie je mi celkom jasne ci vobec niekedy to moze mat podobne vlastnosti ako ZFS alebo btrfs. Pretoze mi pride, ze kedze to zavisi na x dalsich castiach ktore nemusia mat moznost celkom ovplyvnit tak viac menej v pripade nejakych chyb/chybajucich veci bude clovek proste odpalkovany s tym, ze sa musi fixnut/dorobit cosi ine. Rad by som sa ale mylil.

[marbu]

Pro popis problému, co Stratis řeší, a popisu řešení je lepší podívat se na Stratis Software Design.

[Ladislav Hagara]

Přidáno do zprávičky. Dík.

[laguru]

Za rok vyvinuli novy fs s kterym chteji konkurovat zfs.

Tak hlavne ze plati nechutny osobni utoky na guru filesystem T'so.

Tady se musi kazdy vysmat i modle open source Red Hatu.

[Max]

Tady asi někdo neumí číst.
Zdar Max

[laguru]

Ten red hat filesystem je nahrada btrfs co je nahrada zfs.

Rok (ok, ok ... a mesic) pote co RH oznami ze konci s btrfs, oznami novy super red hat filesystem ve verzi 1.0. Vzdyt to je k smichu.

Jasne, na tom novem fs delali uz chvili pred tim, ale to.na veci nic nemeni.

[Kate]

On má Max pravdu, chtělo by si to něco přečíst před komentováním.

Stratis totiž ve skutečnosti není filesystem v tom významu jako btrfs nebo zfs…

[laguru]

Vlastnosti Btrfs a ZFS by měl časem nabídnout podporovaný Stratis (GitHub).

At to ctu jak to ctu ...

Podle komentaru vyse hadam ze to bude zaviset na lvm a kdo vi cem dalsim.

Red Hat je takovy apple opensource sveta, at vydaji sebevetsi $#$@ tak to lidi budou pouzivat a dokonce obhajovat jak je to super.

[Kate]

To že to bude nabízet vlastnosti těch dvou neznamená že je to plnohodnotný FS. Jako souborový systém to vespod používá XFS. Čímž řeší spoustu problémů se kterými se třeba btrfs musí potýkat a ironické poznámky o době vývoje trochu ztrácí na váze.

(A mimochodem, vedle zjištění si informací před komentováním doporučuji ještě naučit se nepodsouvat ostatním jejich názory. To že mám potřebu uvést věc na pravou míru neznamená že si myslím že je to super. Osobně preferuju btrfs a mimo jiné kvůli jeho preferenci jsem nakonec přešla na openSUSE Tumbleweed.)

[laguru]

Ze je to zalozene jeste na XFS (do kteryho musi delat mnohem vetsi zmeny nez mezi ext3->ext4) na veci vubec nic nemeni.

To ze pouzivas opensuse opravdu nema vliv na to jakym zpusobem Red Hat tlaci svoje technologie.

[laguru]

Kdyz mas teda tu potrebu uvadet veci na pravou miru.

Zmeny v jadre za posledniho +- jeden a pulroku:

v fs/xfs:

 218 files changed, 29891 insertions(+), 16261 deletions(-)

pro srovnani fs/ext4:

 43 files changed, 5199 insertions(+), 2568 deletions(-)


cloc fs/xfs:
Language                     files          blank        comment           code
 SUM:                           215          14796          30029          92470

Ty zmeny do XFS jsou drasticke, novy filesystem to neni spis z marketingovych duvodu.

[Kate]

Ano, přidá se do něj zejména podpora CoW. Ony změny mezi ext3 a ext4 taky nebyly zrovna malé, xfs holt teď taky čeká nová větší verze. Pořád je to ovšem obrovský rozdíl proti stavbě fs na zelené louce.

Mimochodem, na to že je ext4 stable to je oproti xfs docela dost změn, ne?

[laguru]

Takze vlastne vis ze se prakticky o novy fs jedna, zapomenes to zminit, ale mas potrebu "uvadet veci na pravou miru".

[Max]

Stratis není žádný filesystém, jasně to i píšou. Jedná se o sadu nástrojů v userspace, která pracuje s klasickým blokovým zařízením a jako FS to používá XFS.
Jako výhodu zmiňují použití již zaběhlých technologií (XFS, LVM, dm-multipath atd.), takže nemusí implementovat vše od znovu, jako to dělá btrfs. Jinými slovy, snaží se spojit výhody všech technologií a docílit podobných vlastností jako má btrfs/zfs.
Aby se na takovou úroveň dostali, budou muset všechno napříč opatchovat a je jasné, že XFS bude na tom s vývojem nejbouřlivěji. Resp. RedHat cpe do vývoje XFS dost sil už pěkně dlouho (také se delší čas povídá o tom, že ho čeká implementace CoW) a Stratis je pro něj asi logickým krokem dál.
Současný stav je jen takový začátek, chybí skoro všechny fce. BTRFS je dnes už hodně použitelná věc, ale chybí mu pár vychytávek ze ZFS, resp. mi btrfs přijde jako FS pro menší uložiště a né pro PiB pole, jako si to dává ZFS.
Vidím to tak, že za 5 let vývoje se uvidí, zda to bude použitelné.
Zdar Max

[laguru]

Stratis není žádný filesystém, jasně to i píšou.

Neasi. Dulezite ale je, ze ty zmeny do XFS za posledni rok a pul z toho prakticky novy fs delaji. To uz se ale tak nejak zapomene zminit.

[BoneFlute]

To, že to tam zapoměli zmínit z nich nedělají vrahy malejch dětí.

[marbu]

Btw pořád je /home ve výchozím stavu na xfs?

[Kate]

Instalátor mi to tak nabídl, ale šla jsem cestou plného btrfs. Co mě mile překvapilo oproti fedoře je, že se mi nesnažil zarytě tvrdit že grub na btrfs být nemůže…

[_]

Holt narozdíl od Suse nebo Ubuntu makaj.

[hermelin]

Moc mistnim komentarum nerozumim. Nekdo se snazi zcela opensourcove bez nejakychkoliv pokoutnych licenci udelat na vlastni naklady moderni filesystem pro linux a ostatni do toho rejou aniz by si o tom neco precetli ? Rychly vyvoj je umozneny mimo jine i tim ze vyuziva jiz lety provereny XFS, device-mapper a LVM2. Misto toho aby ste byli radi ze vznikne nova a pravdepodobne hodne silna alternativa k BRFS a ZFS tak tady rejete. Fakt skoda slov - jak rikal Forrest Gump - PRO HLUPAKA KAZDY HLOUPY.

[Michal Kubeček]

Moc mistnim komentarum nerozumim. … udelat … moderni filesystem pro linux

To jen potvrzuje, že těm komentářům moc nerozumíte. Už několik se jich totiž pokusilo upozornit, že to není filesystém.

[hermelin]

Ano neni to filesystem v pravem slova smyslu - ale cilem je to moderni uloziste dat se vsemi vyhodami (nekdy i nevyhodami). Ale vadi mi ze nekdo ma potrebu to zesmesnovat nebo hanit pred tim nez si to vyzkousi, pripadne nez dojde na nejaky alespon testovaci provoz a zkusenosti ostatnich apod. A samozrejme ma poznamka nebyla myslena uplne vsem komentarum zde.

[laguru]

Stejne jako systemd, flatpak a mnoho dalsich, jde o snahu nahradit funkcni reseni necim vlastnim, aby ziskali/udrzeli si kontrolu nad open source svetem. To je tvrdy business.

To ze je to open source je uplne jedno.

[laguru]

coz o to, ale vetsinou jsou ty red hat technologie (systemd je super priklad) fakt hrozny shit a prosazuji je silou (gnome zacne zaviset na systemd, marketing to vse cpem horem dolem).

Tento filesystem (jo promin nesmi se tomu tak rikat) upeceny za rok jako nahrada btrfs a zfs je na tom uz na prvni pohled stejne.

[marbu]

jde o snahu nahradit funkcni reseni

K té části o funkčím řešení: kromě OpenSUSE a SLES žádná jiná distribuce nepoužívá btrfs jako výchozí filesystém (opravte mě, pokud se pletu), od kterého se čeká, že musí ve všech případech fungovat. A i to OpenSUSE, když jsem se naposledy díval, používalo ve výchozím stavu btrfs jen na /, /home byl na xfs.

To ale neznamená, že neexistuje spousta spokojených uživatelů btrfs. Pokud si admin prostuduje btrfs status wikipage a zařídí se podle toho, včetně vyzkoušení dané konfigurace v neprodukčním prostředí, může být btrfs super volba. Sám btrfs používám na jednom laptopu, a včas jsem odhalil díky funkci scrub odcházející disk.

nahradit funkcni reseni necim vlastnim

Jde spíš o jiný přístup k problému. Btrfs Fedoře nepřijde dost stabilní (několikrát byl btfs navrhován jako výchozí filesystém pro Fedoru, a nikdy to neprošlo) a psát si něco úplně nového od znovu není dobrý nápad.

Místo toho se Stratis snaží použít již existující a prověřené komponenty (xfs, device-mapper, ...), rozšířit je a integrovat přes daemona v user space.

[Kate]

Mně přijde vtipné jak je systemd vytýkáno že dělá úplně všechno, místo aby byl čistý init – což z btrfs dělá takový „systemd souborových systémů“ a stratis je přesně to co je často RH vytýkáno že nedělá: Propojení už existujících komponent do funkčního celku… A zase je to blbě. :D

Jinak doufám že btrfs brzo dostane šifrování, provozovat btrfs raid nad dm-crypt se mi moc nelíbí :)

[trekker.dk]

Propojení už existujících komponent do funkčního celku… A zase je to blbě

No, já jsem tady už před několika lety tvrdil, že přesně tohle řešení je lepší nápad než celý Btrfs. Ideálně tedy pokud v další fázi přijde na řadu rozšíření rozhraní těch komponent, aby si mohly předávat víc informací o ukládaných datech, volném místu apod., což by vlastnosti celé té věci dostalo na úroveň Btrfs samotného. Lidi mi tu tvrdili, že to nejde, tak teď se uvidí.

[Kate]

Je jen otázka jestli to nebude za cenu výkonu.

[Max]

Skepse byly asi spíše o tom, že nic z těch vrstev nemělo vyřešené checksummy a kontrolu konzistence dat po dobu jejich celé cesty, nebyla vyřešena komunikace mezi jednotlivými vrstvami atd. To samé jako požadovaný základ v podobě snapshotů. A samotné vrstvy nemají stejně spoustu věcí implementovánu. Stav správy blokových zařízení není ideální(z pohledu některých dnešních požadavků) a každá vrstva má několik limitujících faktorů.
Přišlo tedy na řadu klasické rozhodování, zda bude lepší vše překopat/dodělat spoustu věcí, nebo začít na zelené louce s čistým návrhem.
Osobně mi snaha RedHatu přijde jako úlet, obzvláště v době, kdy tu máme clusterové FS, kde jde vývoj hodně kupředu a pro lokální velké storage ZFS, případně stále se zlepšující btrfs (vývoj od 2007, k použití od 2014, vhodné do běžných kapacit, tam kde stačí raid1 apod.). Věcí, co je u btrfs třeba dořešit, znatelně ubývá, v poslední době se dost řešil raid5/6, takže zanedlouho se konečně můžeme těšit i použití pro větší storage, kde se ekonomicky raid10 nevyplatí, nebo je požadována větší redundance dat.
Prostě oznámit teď, že začínáme a naše řešení umí složit z blokových zařízení pool a naformátovat ho na XFS mně nijak neohromuje. Samozřejmě to zjednodušuji, ale reálně to zatím neumí nic, nemá to checksummy a další kontroly konzistence, žádnou podporu snapshotů (kterou pokud budou řešit bez CoW, tak přijde draho vzhledem ke kapacitě) a další fce moderních FS.
Možná se mýlím, ale myslím si, že dřív, jak za 5 let, asi reálné řešení neuvidíme. A v té době bude btrfs zase někde jinde. Tzn., že to nejspíše nebude ani v RHEL9.
Zdar Max

[trekker.dk]

Osobně mi snaha RedHatu přijde jako úlet, obzvláště v době, kdy tu máme clusterové FS, kde jde vývoj hodně kupředu a pro lokální velké storage ZFS,

RTFA. ZFS je nepoužitelné kvůli licencí.

případně stále se zlepšující btrfs (vývoj od 2007, k použití od 2014, vhodné do běžných kapacit, tam kde stačí raid1 apod.).

A to máte někde v produkci? Myslím skutečnou produkci "když se vysere fs, tak nejede služba", ne zálohy.

Samozřejmě to zjednodušuji, ale reálně to zatím neumí nic, ... žádnou podporu snapshotů

RTFA

[Michal Kubeček]

A to máte někde v produkci? Myslím skutečnou produkci "když se vysere fs, tak nejede služba", ne zálohy.

Nezanedbatelné procento našich zákazníků ano.

[trekker.dk]

Ok, mají zjevně větší odvahu než já.

[Max]

Synology už nějakou dobu staví na btrfs vyšší řady svých NASek. Dřív jsem měl btrfs jako backup storage, teď jede na pobočce v rámci Synology. Mají to dobře zmáknutý, správu snapshotů atd. Osobně bych klidně btrfs do produkce hodil, ale aktuálně mi všechno pokrývá NetApp a 70TiB ZFS.
Odvaha s tím opravdu nemá co dělat, stav se k tomu jako realista a netahej do toho pocity .
Zdar Max

[Max]

Jop, na desktopech btrfs jinak používám, i na home storage.
Zdar Max

[k3dAR]

btw: "However, it is known that Btrfs RAID is unstable and not suitable for production environments. For this reason, Synology chose Linux RAID over Btrfs RAID"
https://www.synology.com/en-us/knowledgebase/DSM/tutorial/General/What_was_the_RAID_implementation_for_Btrfs_File_System_on_SynologyNAS

[Max]

Ano, to vím, důvody jsou podle mně asi dva, prvním je chybějící stable podpora RAID5/6 a druhým je nutnost při výměně disku v RAID1 přemountovat pole do degradovaného režimu = výpadek (+tam byly problémy s počtem mountů do degradovaného režimu). První problém se řeší, když koukám na ty změny, problém s výměnou disku v jakoby RAID1 bez přemountování do degradovaného režimu možná jde obejít konverzí z RAID1 na standalone, vyměnit disk a opět konverze zpět. To by mělo projít online.
Uvidíme, kdy dodělají RAID5/6 stable a jak se k tomu nakonec Synology postaví.
Zdar Max

[trekker.dk]

problém s výměnou disku v jakoby RAID1 bez přemountování do degradovaného režimu možná jde obejít konverzí z RAID1 na standalone, vyměnit disk a opět konverze zpět. To by mělo projít online.

Ale furt je to nesmyslná pakárna.

[trekker.dk]

No, jako realista se k tomu stavím tak, že tý věci ani trochu nevěřím a radši si počkám, až ty věci (checksumy třeba) budou v jiných filesystémech.

[Semo]

Realista by sa "nestaval". Realista by sem prdol statistiky/data podla ktorych je BRTFS produkcne nedoveryhodny.

[Max]

Co tim RTFA chceš říct? Že to umí to, co jsem napsal? Neumí, jen mají napsáno, že to plánují implementovat.
Zdar Max

[trekker.dk]

Citoval jsem tuhle část

žádnou podporu snapshotů

To umí.

[Max]

Stratis’s current snapshot implementation is characterized by a few traits:
• A snapshot and its origin are not linked in lifetime. i.e. a snapshotted
  filesystem may live longer than the filesystem it was created from.
• A snapshot of a filesystem is another filesystem.
• A filesystem may be snapshotted while it is mounted or unmounted.
• Each snapshot uses around half a gigabyte of actual backing storage, which is needed for
the XFS filesystem’s log.
These may change in the future.

Máš pravdu, sorry.
Zdar Max

[trekker.dk]

Jo, no, je to založené na device mapperu, takže bych se hodně divil, kdyby tam ta podpora snapshotů nebyla.

[laguru]

ZFS v debianu a moznost doladit btrfs aby se vam ve fedore libilo takticky nebudeme zminovat.

Samozrejme je to cele o tom, aby pak RH mohl stavet svoje reseni, ktere budou vyzadovat ten stratis (nebo jak se tomu bude rikat az to bude production-ready).

Nic proti tomu!

Ale pokud se to zacne zakerne cpat do ostatni dister jako systemd (tam mel navic RH hodne stesti ze sel odpor proti lennartovi a ne Red Hatu) nebo flatpak, coz je, po predchozich zkusenostech, opravnena obava, tak je to dalsi svinarna.

[Ruža Becelin]

Zakerne??

To nekdo spravcum dister drzi pistoli u hlavy, a nuti je to nasadit?

[k3dAR]

ne, kapajici kohoutek nad hlavou a pousti k tomu country

[laguru]

Pohruzka smrti je jedina zakernost?

Zneuziti dobrevule stovek dobrovolniku narvanim zavislosti na systemd do freedesktop projektu? Marketingove lzi vcetne security-related zalezitosti? Zamestnani maintaineru z konkurencniho komunitniho distra? Placeni "aktivistu" aby pomlouvali konkurenci?

Ty lzi kolem flatpaku jsou jeste vetsi hnus kolem systemd.

Ano, zakerne.

[Peter Golis]

Vyzerá to pekne. Ale bude to mať aj checksumming na dáta (obsah súborov) aby to mohlo konkurovať BTRFS a ZFS? Snapshoty, deduplikácia, kompresia a redundantný zápis sa už dajú vyskladať z rôznych vrstiev. Ale kontrola konzistencie mi chýba od nasadenia žurnálov.

[marbu]

To je plánováno pro Stratis 3.0 přes dm-integrity modul, viz to pdf Stratis Software Design:

9.2.2 Layer 1: Integrity (optional)

This layer uses the dm-integrity target to enable the detection of incorrect data as it is read, by using extra space to record the results of checksum/hash functions on the data blocks, and then comparing the results with what the blockdev actually returned. This will enable Stratis to detect data corruption when the pool is non-redundant, and to repair the corruption when the pool is redundant. It should also be possible to use DIF information if present

[Peter Golis]

Nuž, držím tomu palce teda. Dúfam že to nebude dlho trvať, a naplníte roadmap.

[Petr Ježek]

Diskuse hezky ukazuje, že ti, co nikdy nic nevytvořili a pouze se vezou nejvíce žvaní proti těm, co něco tvoří ve snaze, aby to bylo lepší než to, co je doposud. Kdo něco ví o systémech, ten kvituje jak systemd tak tento počin (Stratis), protože s pětipalcovými disketami to opravdu již dál nejde. To, že funguje klacek neznamená, že se s ním lze dnes efektivně ubránit...

[laguru]

Je mi jasne, ze je to open-source tak se na to nesmi nadavat (i kdyz motivace Red Hatu je cisty business a samozrejme vendor lock-in), proto radeji anonymne :).

O tom jak systemd super si muzeme pocit v nedavne diskusi na rootu o "predictable network device names" - tolik negativnich komentaru pod clankem tam nemaj je rok dlouhej.

[cronin]

Nomen omen: Na tomto súborovom systéme Stratíš svoje dáta.

[Puneš]

Nestratis, jen se k nim nedostaneš, protože třeba právě nebude fungovat DBUS. Taky to bude pěkný šnek, když tam naplácají vrstvu nad vrstvou. Jsem zvědav jestli se aspoň ty snapshoty budou dát používat, protože v LVM je to běs děs.