Střípky z IT - (3) : NFS : Uhádnete, kde byl problém?

11.6.2018 23:25 | Přečteno: 4037× | linux | poslední úprava: 12.6.2018 07:52

Narazil jsem na jednu pěknou chuťovku, tak z toho udělám kvízek :)

Úkol byl jasný, naladit 2x OEL7 (aka CentOS 7), aby outsourcovaná firma mohla naladit Oracle RAC přes NFS. Oba os jsem předal čistý, up to date, vše přednastaveno atd. Týpek si nastavil mounpointy na 4x nfs volume (storage server je NetApp), naladit Oracle RAC podle dosavadních zkušeností apod. Následně byl server předán zpět k testování, abychom si na něm vyzkoušeli všechno možné včetně všech zakoupených options apod.

NFS se náhodně po startu nepřipojuje

Všiml jsem si, že jeden node má problémy s automatickým mountem NFS volume z NetApp storage po startu OS. Chování bylo zcela náhodné. Jednou se nepřipojila jedna volume, podruhé dvě jiné atd. První node tímto problémem netrpěl. Dostupné info :

# /etc/fstab
192.168.1.1:/vol_ssd_rac_sdb_oradata /u02/oradata  nfs4  rw,bg,hard,nointr,rsize=32768,wsize=32768,tcp,vers=4.1,timeo=600,acregmin=0,acregmax=0,acdirmin=0,actimeo=0  0 0
192.168.1.1:/vol_ssd_rac_sdb_redo /u02/oraredo  nfs4  rw,bg,hard,nointr,rsize=32768,wsize=32768,tcp,vers=4.1,timeo=600,acregmin=0,acregmax=0,acdirmin=0,actimeo=0  0 0
192.168.1.1:/vol_ssd_rac_sdb_ocr /u02/oraocr nfs4  rw,bg,hard,nointr,rsize=32768,wsize=32768,tcp,vers=4.1,timeo=600,acregmin=0,acregmax=0,acdirmin=0,actimeo=0  0 0
192.168.1.1:/vol_ssd_rac_sdb_gimr /u02/oragimr nfs4  rw,bg,hard,nointr,rsize=32768,wsize=32768,tcp,vers=4.1,timeo=600,acregmin=0,acregmax=0,acdirmin=0,actimeo=0  0 0

# systemctl log :
May 16 12:24:21 rac2-ph systemd[1]: Found ordering cycle on nfs-server.service/start
May 16 12:24:21 rac2-ph systemd[1]: Found dependency on u02-oraredo.mount/start
May 16 12:24:21 rac2-ph systemd[1]: Found dependency on nfs-server.service/start
May 16 12:24:21 rac2-ph systemd[1]: Breaking ordering cycle by deleting job u02-oraredo.mount/start

Tak tipujte, kde byla chybka. Pokud na to někdo během dne, dvou nepřijde, tak postnu řešení. Nicméně věřím, že zdejší chytré kedlubny na to kápnou rychle (i když stejný problém řešil týpek na CentOS foru a tam to skončilo neuzavřeně, link tady, komentář s řešením mi nebyl schválen, tak ať si trhnou).
Zdar Max

UPDATE : A výhercem je Michal Kubeček a řešení v komentáři #20        

Komentáře

[ewew]

Systemd ? Alebo to bolo oneskorením na sieti čo spôsobilo timeout. Chyba protokolu NFS ?

[Max]

Samá voda ...
Zdar Max

[ewew]

To som čakal. Nexistuje šanca, že by som to uhádol.

[geg]

Stejné stroje s totožnou konfigurací. Není problém, když se tedy oba chtějí připojit? Byl ten druhý vždycky "druhý"?

[Max]

Ano, stroje jsem předal naprosto stejně nastavený. Nulový rozdíl (resp. rozdíl jen IP+MAC+hostname). Stroje se jmenovaly a byly nastaveny stejně a jména a IP se neměnily.
Zdar Max

[ewew]

Toto by som nečakal od skúseného admina. Ale aj toto sa deje.

[Max]

Vysvětli.
Zdar Max

[ewew]

Že by si nechal tie isté ip v konfiguráku na obidvoch serveroch.

[Max]

Jak z reakce "(resp. rozdíl jen IP+MAC+hostname)" usuzuješ, že byly stejné IP? Nebyly. Vše regulérně nastaveno, oba stroje měli rozdílné IP, rozdílné MAC i rozdílné názvy.
Zdar Max

[ewew]

Ok. Jedine čo ma napadá je, že ten NetApp nezvláda viacnásobne súčasne pripojenie nfs.

[Max]

Samá voda.
Zdar Max

[ewew]

Ok. Tu ja končím. nemá zmysel pokračovať v hádani.

[MrG]

#up all ethernet interface? $sudo nmcli d $sudo systemctl restart network

cat /etc/systemd/system/nfs-client.target.d/DefaultDependenciesFalse.conf DefaultDependencies=False ?

#better? sudo systemctl status nfs-server sudo systemctl status nfs-idmapd

[Max]

systemctl status máš v blogu. Jinak všechny tipy samá voda :).
Zdar Max

[Odin]

Rsize wsize?

[Max]

Samá voda :)
Zdar Max

[pc2005]

Předpokládám, že na chybu není potřeba oracle ani jiné konkrétní softy.

Tipnu si šílenost, chybějící mountpoint (nebo něco způsobující timeout), bg forkující při timeoutu (jsem tu volbu ani neznal) a systemd závislosti dokonají dílo zkázy?

OT: není wsize/rsize zbytečně moc? stejně to Ip stack rozseká do MTU paketů ...

[Max]

Samá voda
Zdar Max
PS: mountpoint nastavoval týpek od Oracle, takže nebudu zpochybňovat, ale jsem vůči některým věcem skeptický

[Michal Kubeček]

Podle těch hlášek se vám podařilo nějak zacyklit závislosti mezi nfs-server.service a u02-oraredo.mount, ale jak se vám to podařilo, to bez konfigurace naslepo hádat nehodlám, stejně jako to, proč by na tom stroji vůbec měl běžet NFS server, když jste se o něm vůbec nezmínil.

[Max]

Ano, je to tak, správně jsi si všiml, že tam běží nfs server, že je tam kolize mezi nastavením nfs serveru a nfs mounpointy.
Na rozjetí Oracle byla najmuta firma, aby provedli nastavení a další věci dle jejich zkušeností, protože jsme přecházeli na EE verzi Oracle, kde je spousta novinek a na jiný způsob storage.
Výsledkem bylo, že týpek, co to rozjížděl, absolutně ohledně linuxu netušil. Nešel mu x forwarde (potřeba kvůli instalátoru Oracle), tak se pokoušel rozjíždět grafické prostředí.
Nakonec jsem díky chybě v blogu i zjistil, že ani neví, jak připojit nfs. Jeden večer mi radostně napsal, že se mu podařilo připojit nfs.
Chyba zmíněná v blogu byla zapříčiněna tím, že jen na druhém nodu nainstaloval nfs server a nastavil ho takto :

cat /etc/exports
/u02/oradata               192.168.1.1(rw,sync,no_wdelay,insecure,no_root_squash)
/u02/oraredo               192.168.1.1(rw,sync,no_wdelay,insecure,no_root_squash)

Takže kolize byla zapříčiněna tím, že ten člověk vůbec netušil, co dělá :-/.
Zdar Max

[Aleš Kapica]

Ó jé… Tak tohle jsem fakt nečekal.

[klkl]

Takže pak už ale stroje nebyly totožně nastavené...

[Max]

Já jsem psal, že stroje jsem nastavil naprosto shodně a pak je předal. Když koukám do komentářů, tak tam se taktéž v tomto smyslu vyjadřuji konzistentně.
Zdar Max

[hklt]

Ano, ale tak nějak jsem počítal, že stejně nastavené i zůstaly. Takhle by mohl provést cokoliv i smazat HDD... Můj první dotaz by tedy byl: "Vrtal jste se v tom?"

[Michal Kubeček]

To je zbytečné, jak říká Greg House: "Everybody lies." Takže před odevzdáním si zazálohovat veškerou konfiguraci (a možná raději i checksumy úplně všeho) a po vrácení porovnat.

[Ruža Becelin]

To mate z toho, ze nechate nekoho hrabat na servery. Ten "specialista" mel sedet vedle admina a rikat co a jak, ne fyzicky sam neco delat.

[Max]

Zkušenost je taková, že většinou se nové instalace dělají po večerech na dálku. Nepamatuji se, kdy se něco někdy instalovalo lokálně, vždy to byl člověk někde na konci vpn tunelu s vymezeným přístupem, který pak dodal dokumentaci + proběhlo případné školení/diskuse na cca 2h.
Zdar Max

[Käyttäjä 11133]

Od toho vymysleli MS Lync / Skype for Business, ne? Zkušenost je taková, že tam kde jim na kvalitě záleží nejdříve procesy vyvinou, pak je otestují a pak je releasnou do produkce... Vývoj, test a release do produkce zajišťují zpravidla jiní lidé.

[Max]

Jednak se tu nebavíme o produkci, ale o testovacím prostředí, a jednak nevím, jak by to měl Skype/Lync řešit.
Zdar Max

[Käyttäjä 11133]

a jednak nevím, jak by to měl Skype/Lync řešit.

Screensharing.

[Max]

Na linuxu to zas tak moc dobře nefunguje a řešit to přes nějaký druh vzdálené plochy je časově náročné. Jak už jsem psal, většinou to nefunguje tak, že se domluví den a člověk to celý den ladí, ale domluví se termín, do kdy to musí být a dotyčný to dělá v čase, kdy chce/může. Což může být během dne, nebo o po večerech a o víkendech. To je celkem běžná praxe.
Outsourcing jako takový je stejně o nějaké té důvěře. Chápu, že tak, jak to popisuješ, to někde funguje, ale upřímně v tom vidím spoustu časových překážek.
Zdar Max

[Käyttäjä 11133]

Outsourcing jako takový je stejně o nějaké té důvěře. Chápu, že tak, jak to popisuješ, to někde funguje, ale upřímně v tom vidím spoustu časových překážek.

To nemá nic společného s otázkou insourcované / outsourcované IT, ale mnoho s otázkou - jaký je service maturity level u služeb, jež má organizace doručuje. Tzn. veškeré procesy, včetně tvého inicializačního buildu by měly býti doručeny konzistentně, dle zdokumentovaného procesu, a při předávkách by měla být shoda - tedy kvalita tebou poskytované služby kontrolována; veškeré změny by opět měly býti zdokumentovány, zpětně revidovány, nepotřebné změny z procesu elimonovány a při předávce dalšímu článku v dodavatelsko-orběratelském řetězci (klidně v rámci te stejné organizace) by měl býti opět proveden audit, že je vše ve shodě s tím, jak to bylo - jako proces zdokumentováno.

[Max]

Hmm, aby to tak fungovalo, potřeboval bych tak ještě 3 lidi do teamu.
Zdar Max

[Käyttäjä 11133]

Quality, Cost, Delivery trojúhelník platí i v IT, nejen v automotive.

[ewew]

Možno keby si predtým pozrie manuál k NFS možno by k tomuto nedošlo.

[citanus]

boze asi se budu muset na systemd podivat poradne.. koukal jsem na ten vystup nekolikrat a stejne jsem to prehlid. A pritom to tam upne bije do oci. Michael je borec!

[Aleš Kapica]

No, vzhledem k tomu že jsem to byl zrovna já, kdo ti vyprávěl jak jsem se minulý rok zrovna s tímto problémem trápil 14 dní než jsem na to vyzrál, tak odpovídat nebudu. Jsem jenom zvědav jestli ve vašem případě za tím nebylo ještě něco jiného.

[Max]

Viz řešení v komentáři výše :).
Zdar Max

[Agent]

A já čekal problémy při hraní NFS - Need fór speed

[Max]

NFS je pro amatéry. Profíci paří Counter Strike 1.6!
Zdar Max