| poslední úprava: 31.3.2015 21:42
Portál AbcLinuxu, 26. dubna 2024 22:19
31.3.2015 14:06
| Přečteno: 2137×
| Linux
|
| poslední úprava: 31.3.2015 21:42
Už týden nebo dva doma provozuji HOME adresáře přes NFSv4 s autentizací přes Kerberos (integrovaný přes PAM).
Stroje, který si /home takto připojují, bootují ze sítě přes read-only nfsroot. Výhoda je taková, že udržuji jen jediný systém pro všechna PC, všichni uživatelé mají všude stejná data a stejná hesla a o storage se starám jen na serveru.
Rozchodit si takto NFSv4 + Kerberos není moc těžké. Návodů se najde hodně. Nejhorší je ale to, když něco záhadně nefunguje. I já jsem došel to takto podivného stavu a nakonec jsem to vyřešil rekonfigurací od nuly.
Pokud máte gigabitovou síť, pak výkon při čtení a zápisu činí teoreticky až 120 MB/s. Tomuto se dá dopomoci nastevním vyššího rsize/wsize při mountu. Čtení velkých souborů je obecně bezproblémové; kámenem úrazu je ale vysoká latence Ethernetu v kombinaci s ne zcela moudře napsanými aplikacemi.
Asi nejproblémovější je v tomto ohledu KDE. Kdykoliv se má někde objevit ikonka aplikace nebo typu souboru, pak sekvenčně prohledává až snad stovky adresářů. Já to vidím například při vstupu do adresáře, kde je nějaký soubor RTF, pro který ikonku nemám (takže to hledání opravdu trvá). Aplikace se až na 6 sekund zasekne a Wireshark ukazuje šílené množství volání NFS. Tento problém je sice už dávno nahlášený, ale v KDE se na výkonnostní problémy kašle i v mnohem jednodušších případech. (V KDE4 je například bug/prasárna, která způsobuje zátěž CPU na uzamčené obrazovce - výrazně by pomohlo na jeden jediný řádek připsat nulu, ale asi dostávají všimné z ČEZu, že ani to nejsou ochotní udělat.)
Považuji to ale snesitelné, protože ve většině situací to funguje dobře. Jiná prostředí (zkoušel jsem Xfce, LXQt) fungují o něco lépe.
Při ověření vůči Kerberosu získává uživatel ticket, který se pak používá při přístupu k souborům. Tento ticket ale po čase expiruje.
Nejsem si jist, jestli se ticket obnovuje automaticky - tak dlouho nenechávám počítač zapnutý. Problém je ale při suspendu: při probuzení počítače následující den je ticket už beznadějně expirovaný.
Pokud nemám zapnutou lock screen, pak je nutné ticket obnovit ručně spuštěním kinit v terminálu a zadáním hesla. V případě lock screen se ticket obnoví zadáním hesla sám. V obou případech ale nastane určité období, kdy volání NFS nefungují. Některé aplikace se s tím nedokáží vypořádat (Firefox, Thunderbird, Skype, ...).
fatal: failed to stat '.': Key has expired
Aktuálně mám sice /home připojený jako soft (chyby NFS se tedy dostávají k aplikacím a jádro se nesnaží operaci opakovat), ale i ve variantě hard se po odemčení obrazovky objevovaly drobné problémy. Přepínači klávesnice KDE například zmizí vlajky (místo nich se objevuje jen en nebo cz) a k přepínání navzdory nastavení začne docházet globálně (namísto na úrovni aplikace).
UPDATE: Dá se částečně řešit instalací app-crypt/kstart (Gentoo) a vytvořením /etc/profile.d/krenew.sh například s tímto obsahem:
krenew -K 10 -b -p ~/.krenewprocess.txtcož zajistí obnovu ticketu každých 10 minut.
Tohle podle všeho souvisí spíš s nfsrootem, ale nejsem sám, komu začalo linuxové jádro (3.18 a vyšší) za běhu odpojovat /proc. Někdy se to stane náhodně po čase, i když se nic neděje, jsou ale spolehlivé způsoby, jak to vyvolat (spustit Steam). Přidal jsem na vhodná místa do jádra warningy, když se něco pokusí /proc odpojit, ale spíš to vypadá, že něco někde poškodí výčet mountů a procfs tak zmizí. Vyloženě skvělé.
Tiskni
Sdílej:
31.3.2015 16:44
Luboš Doležel (Doli) | skóre: 98
| blog: Doliho blog
| Kladensko
31.3.2015 21:02
Luboš Doležel (Doli) | skóre: 98
| blog: Doliho blog
| Kladensko
Možná tak s initrd.To bych viděl jako ideální postup a vykopat z jádra všechny ty jinak typicky userspacové sračky jako je DHCP. Obecně, nejenom pro NFSv4.
31.3.2015 21:36
squashfs přes nbd (plus overlayfs s tmpfs), protože všechny moderní CPU jsou schopné dekomprimovat data rychleji, než se čtou přes gigabitovou síť. Jediná nevýhoda (mimo nutnosti používat initramdisk/initramfs) je vt tom, že zkomprimovaný souborový systém se musí při updatech znovu (re)generovat, i když i to by šlo nejspíš nějak pořešit, protože mksquashfs umí přidávat data inktrementálně.
No a pokud se někomu nechce komprimovat, tak se může klidně vyexportovat jako síťové blokové zařízení normální disk, jediný problém je problematičnost při mountování takového obrazu read-only, protože i v tomto režimo do něj některé souborové systémy zapisují (minimálně Ext3/4, ale nejspíš i další používající žurnál). Minimálně ndb sice má možnost copy-on-write, ale má výrazné negativní následky na výkonnost.
31.3.2015 23:54
Luboš Doležel (Doli) | skóre: 98
| blog: Doliho blog
| Kladensko
Jediná nevýhoda (mimo nutnosti používat initramdisk/initramfs) je vt tom, že zkomprimovaný souborový systém se musí při updatech znovu (re)generovat, i když i to by šlo nejspíš nějak pořešit, protože mksquashfs umí přidávat data inktrementálně.Přesně tohle uvádí jako workaround problémů s KDE a přesně kvůli nutnosti přegenerování jsem to zatím nechal takhle.
No a pokud se někomu nechce komprimovat, tak se může klidně vyexportovat jako síťové blokové zařízení normální disk, jediný problém je problematičnost při mountování takového obrazu read-only, protože i v tomto režimo do něj některé souborové systémy zapisují (minimálně Ext3/4, ale nejspíš i další používající žurnál).Kvůli herním Windows bootovaným ze sítě tu mám v provozu iSCSI target, takže to spíš zkusím přes něj. Udělal jsem si lokálně rychlý pokus s immutable souborem (chattr +i) a mount -o loop,ro a ext4 s tím nemělo problém. Stejně ale asi pro tento účel zvolím ext2.
1.4.2015 23:27
Luboš Doležel (Doli) | skóre: 98
| blog: Doliho blog
| Kladensko
[1044588.807658] fd_do_rw() write returned -22Google nachází jedinou relevantní věc, kde to byla chyba na storage. Jenže já do toho souboru můžu na serveru zapisovat naprosto bez problémů. Filesystém ani úložiště problémy nemá. Takže prostě target v Linuxu v reakci na určité požadavky vytvoří nevalidní požadavek pro zápis do souboru (-22 je EINVAL).
2.4.2015 14:15
Luboš Doležel (Doli) | skóre: 98
| blog: Doliho blog
| Kladensko
Tipuju, že to bude častější způsob využití toho targetu a tím by to mohlo být líp otestovaný.Souhlasím, ale to už nechci
Na používání souborů se mi líbí, že mohou být řídké ("thin provisioning").
Btw. jak moc práce je rozběhat Windows přes iSCSI? Úplně bezdiskový stroj neplánuju, ale mít Windows nad md raidem s SSD cache zní docela zajímavě...Práce to tolik není (pokud člověk instaluje Windows z DVD a vyhne se potížím při instalaci ze sítě). Má to ale nevýhody:
Souhlasím, ale to už nechciProč to?
Na používání souborů se mi líbí, že mohou být řídké ("thin provisioning").Koukni na dm-thin. Trochu jsem ho testoval v Debian Jessie a v pohodě, dokonce to podporuje i discard, takže se uvolňuje místo uvolněné filesystémem. Akorát je citelné zpomalení, když jsou metadata zapsaná na rotačním disku a musí se s nimi manipulovat při de/alokaci bloků, ale to bude u děravého souboru stejné.
Práce to tolik není (pokud člověk instaluje Windows z DVD a vyhne se potížím při instalaci ze sítě)Hm, tuhle možnost jsem v instalátoru neviděl - hádám, že ji schová, když vidí disky.
3.4.2015 09:08
Luboš Doležel (Doli) | skóre: 98
| blog: Doliho blog
| Kladensko
Hm, tuhle možnost jsem v instalátoru neviděl - hádám, že ji schová, když vidí disky.Instalátor ti iSCSI přímo nenabídne. Musíš použít iPXE pro namapování iSCSI disku (sanhook), pak přejít na boot z CD a instalátor pak ten iSCSI disk vidí jako běžný fyzický. Něco v něm pak ale pozná, že to není skutečný disk a zařídí, že Windows o iSCSI vědí.
6.4.2015 21:05
Luboš Doležel (Doli) | skóre: 98
| blog: Doliho blog
| Kladensko
7.4.2015 09:48
Heron | skóre: 53
| blog: root_at_heron
| Olomouc
8.4.2015 10:57
Luboš Doležel (Doli) | skóre: 98
| blog: Doliho blog
| Kladensko
I ext2 se vetsinou vyplati pripojovat jako ext4, protoze ext4 ovladac je vykonnejsi. Format disku to nijak neovlivni.No a pokud se někomu nechce komprimovat, tak se může klidně vyexportovat jako síťové blokové zařízení normální disk, jediný problém je problematičnost při mountování takového obrazu read-only, protože i v tomto režimo do něj některé souborové systémy zapisují (minimálně Ext3/4, ale nejspíš i další používající žurnál).Kvůli herním Windows bootovaným ze sítě tu mám v provozu iSCSI target, takže to spíš zkusím přes něj. Udělal jsem si lokálně rychlý pokus s immutable souborem (chattr +i) a mount -o loop,ro a ext4 s tím nemělo problém. Stejně ale asi pro tento účel zvolím ext2.
squashfs zabírá více místa než jiné "běžné" souborové systémy (protože drží v paměti navíc buffery pro dekomprimovaná data), při překladu jádra to jde poněkud upravit přes rozšířené volby (za cenu zpomalení).
A ten problém s nutností zápisu i na read-only média mám z vlastní zkušenosti, po té, co se read-only exportovaný souborový systém s Ext3 odmít připojit a bylo nutné ho buď připojit jako Ext2, nebo povolit zápis (resp. copy-on-write). Podle dokumentace to jde nejspíš obejít externím žurnálem, ale nezkoušel jsem to.
Pomalosti startu jsem si nikdy nevšiml (a to ani na relativně pomalých ARMech), a i když je pravda, že squashfs zabírá více místa než jiné "běžné" souborové systémy (protože drží v paměti navíc buffery pro dekomprimovaná data), při překladu jádra to jde poněkud upravit přes rozšířené volby (za cenu zpomalení).To se ovšem bavíš o době, kdy už je celý image stažený, jenže já řádově déle čekám právě na to stahování. Doma nejčastěji bootuju ze sítě SquashFS z LiveCD, kdykoli se něco pokazí nebo potřebuju udělat novou (třeba i testovací) instalaci. V případe Gentoo mám ten image na lokálním serveru. V případě Fedory chápu, že stažení z internetu může trvat o něco déle, ale to je jiný příběh.
A ten problém s nutností zápisuNa to jsem se neptal. Ptal jsem se na tvrzení, že read-only mount zapisuje, to bych osobně považoval za průser, oproti kterému je odmítnutí připojení nepodstatná prkotina.
S initrd, RO NFSrootem a AUFS overlayem, aby si každý počítač mohl dořešit nastavení v etc nám laboratoře běží již přes 10 let. Dokumentace od Aleše Kapicy na stránkách naší katedry:
https://support.dce.felk.cvut.cz/mediawiki/index.php/P%C5%99ehled_v%C3%BDvoje_infrastruktury_pro_diskless_Debian_na_kated%C5%99e_DCEStránky v kategorii diskless pak obsahují množství informací o naší konfiguraci i obecných návodů. Dále existuje moje starší prezentace na toto téma připravená pro InstallFest
http://cmp.felk.cvut.cz/~pisa/linux/diskless/diskless_dce_slides.pdfBohužel se teď situace trochu zkomplikovala. Dlouho jsme se těšili, že out-of-source AUFS nahradíme Overlayem a budeme mít Vanilla jádra. Dokonce před několika lety jsme to úspěšně s overlayem odzkoušeli, ale verze, co se do mainline dostala nedovolí v žádné vrstvě systém souborů, který potřebuje revalidate. Přitom ze standardního jádra Debianu AUFS již odstranili. Takže nezbývá než patchovat AUFS nebo zkusit adrenalin se zrušením testu v Overlay. Pokud nedojde ke změně RO lower filesystému, tak to pak chodí. Patch:
https://github.com/ppisa/linux-rpi/commit/d350d419ebd5b942a199cdf34991aeee379ba1e7Při testu se změnou v RO mnoutovaném nfs filesystému na straně serveru pak Overlay začne nadávat do syslogu. Jádro se zdálo, že ale nespadne. V každém případě by bylo moc milé, kdyby se i na toto použití myslelo a jednou se to dostalo do mainline.
Tento problém je sice už dávno nahlášený, ale v KDE se na výkonnostní problémy kašle i v mnohem jednodušších případech.To si člověk nevybere. Já jsem teď zkoušel rozběhat Bluetooth v Xfce4 - všechno ok, spárováno s telefonem, blueman nabízí browse device, přes gvfs vidím v prohlížeči souborů adresářovou strukturu, dám zkopírovat obrázek z telefonu do počítače a chyba: another operation is in progress. Tak jsem hledal, chyba (v gvfs) nahlášená asi rok v Ubuntu, půl roku v Debianu. Za poslední dobu mám tak nějak pocit, že když jde o počítače, tak se problémy řeší, když je průser. Dokud není průser, tak není co řešit.
1.4.2015 09:04
David Watzke | skóre: 74
| blog: Blog...
| Praha
1.4.2015 09:27
Luboš Doležel (Doli) | skóre: 98
| blog: Doliho blog
| Kladensko
1.4.2015 15:10
Luboš Doležel (Doli) | skóre: 98
| blog: Doliho blog
| Kladensko
1.4.2015 21:39
Luboš Doležel (Doli) | skóre: 98
| blog: Doliho blog
| Kladensko
ktere je navic treba vubec nedostupne, kdyz nejsi pripojeny k netuTo se neděje.
Zatimco to moje reseni by po siti tahalo jen zmeny (ktere jsou prinejhorsim stejne velke jako cela data) a jen obcas, protoze by porad existovala lokalni kopie.Jenže už ten rsync by trval zoufale dlouho.
1.4.2015 17:29
Max | skóre: 72
| blog: Max_Devaine
2.4.2015 13:28
Luboš Doležel (Doli) | skóre: 98
| blog: Doliho blog
| Kladensko
Musí být na straně klienta v keytabu uložen nějaký ticket pro NFS službu?Ano.
Musí být na straně kerberos serveru klientský principal, aby to chodilo ?NFS server musí v keytabu zase mít vlastní "serverový" principal. Klientské principaly ale v keytabu na serveru být nemusí.
3.4.2015 11:43
Luboš Doležel (Doli) | skóre: 98
| blog: Doliho blog
| Kladensko
ISSN 1214-1267, (c) 1999-2007 Stickfish s.r.o.