Jak ojebat overlay (diskuse)

[Radek Podgorny]

...nemas ty benchmarky nejak prehozene? unionfs+overlay je rychlejsi nez samotny unionfs?

btw, do fuse ted mozna prijde patch pro delegovani read/write operaci, takze unionfs by mohl vyrazne zrychlit.

...jo, a nemas zac. jsem rad, ze to nekomu pomaha.

[Aleš Kapica]

Nemám. Ono to i dává smysl. FUSE je pomalé už z principu. Ten unionfs je pro overlay v podstatě jakési šidítko - nic se do něj neukládá, a data přes něj jenom protékají do kernelspace. Takže sám o sobě pouze zajišťuje něco (nevím co) co overlay očekává od spodní vrstvy. I když nechápu proč by ho to vůbec mělo nějak zajímat když má být čistě transparentní.

Ještě plánuji pokus s kompilací jádra s configem SUSE, podle mých informací má Szeredi vyvíjet overlay nad touto kombinací modulů.

Na každý pád ale vylepšení FUSE bude ku všeobecnému prospěchu.

[Kvakor]

Kdybych potřeboval uchodit souborový systém, který je založený na read-only datech přes síť, ale povoluje lokální zápis, tak za předpokladu, že by NFS by vypadlo ze hry, bych zkusil jít o úroveň níž a použil read-only síťové blokové zařízení (NBD/iSCSI/AoE nebo něco na ten způsob), to přimountoval (logicky) read-only a overlay udělal nad ním. Bylo by zajímavé udělat pro srovnání benchmark, ale podle mých zkušeností je minimálně u velkých asouborů (a tím velkých myslím gigabyty a víc) NBD rychlejší než NFS, což bych typoval na nižší režii protokolu a to, že metadata souborového systému jsou u NBD cachované lokálně.

[Aleš Kapica]

Samozřejmě, že to není jediné řešení, které mám v rukávu. A zrovna přes NBD mám elegantní řešení, které by umožňovalo vzdáleně propagovat i widlácké stroje, a to i bez overlaye. Použil bych xnbd-server v režimu proxy a KVM virtualizaci. Jenže to má zase jiné háčky - integrace do AD, konfigurace aj. Overlay je čistě linuxová záležitost, která má ovšem zase jiné bonusy.

NBD je rychlejší než NFS už z principu, protože je mnohem jednodušší a má tím pádem i menší režii. Jenže není tak blbuvzdorné a má jednu zcela zásadní vadu - neumí se automaticky znovu připojit, po restartu NBD serveru.

iSCSI je v tomto směru na tom lépe, ale pokud se má na jedno blokové zařízení připojovat více strojů, tak se pak tuším musí zase řešit multipath a nemá tu výhodu proxy režimu jako xNBD.

NFS je sice pomalejší, ovšem nepracuje s blokovým zařízením, ale s jednotlivými soubory. Je mnohem pružnější z hlediska použití a když se restartne NFS server, tak se nic neděje. Při použití overlaye funguje poměrně slušně i z infrastruktury na obstarožním hardware.

[Aleš Kapica]

Kromě toho disklessová infrastruktura založená na NFS je velmi robustní - provozujeme ji už nějakým rokem a v porovnání s jinými technologiemi je téměř bezproblémová. Jednoduché zálohování, jednoduchý provoz. Ta stávající měla jediný problém NFS server kolaboval, při mazání většího počtu snapshotů. A na ten už jsem také vyzrál - je třeba nejprve zajistit, aby se subvolume ke kterému se snapshot vztahuje NFS server během té doby nepracoval. Už jsem tady o tom jednou psal.

A když se místo DRBD použijí distribuované storage.. Tak je to úplně v pohodě - no a to je ten důvod, proč vůbec řeším ten overlay - aby bylo možné na nové, aktualizované infrastruktuře uchodit i osvědčená řešení. On se totiž ten overlay sakra hodí, pokud potřebuji otestovat co udělá nějaký vypečený upgrade.

[MartinR]

Zajímavý příspěvek, díky!

Nedávno jsem na něco podobného taky narazil Merge two NFS shares with OverlayFS, pořádně mě to tehdy rozčililo.

Potřeboval jsem spojit dva velké read-only adresáře do jednoho a to by minimálně podle dokumentace mělo jít. ('A read-only overlay of two read-only filesystems may use any filesystem type.')

No a nakonec jsem taky použil union-fs.

[dumblob]

Zkoušel jsi v posledních měsících, zdali již "overlay" v nových jádrech jede nad NFS? Pro jádro 4.4.35 mám stále v manu:

The upper filesystem will normally be writable and if it is it must support the creation of trusted.* extended attributes, and must provide a valid d_type in readdir responses, so NFS is not suitable.

Docela by se mi tato funkcionalita hodila pro vyhození závislosti na FUSE.