Dotaz: Nelze otevřít soubor

[Milan Dobeš]

Ahoj, mám aplikaci která zpracovává soubory z win2000 serveru nahrávané na Linux přes sambu. Ty soubory jsou tvořeny postupně cca 5 za minutu, během zpracovávání souboru aplikace vytváří a maže cca 10 pomocných souborů a do cca 20 trvale otevřených souborů zapisuje.

Vše bylo OK do té doby, než se ten win server na den seknul a po jeho zprovoznění mi nahráli 2000 souborů najednou. Aplikace po cca 300 souborech nahlásila chybu že nemůže otevřít soubor. Stačilo ji po několika sekundách nechat pokračovat a jela bez chyby dál dalších cca 300 souborů.

Laborování s /proc/sys/fs/file-max bylo bez výsledku. Zkoušel jsem to na RH7.3, RH9 a Centos 2.1 na různém HW. RH končily po přibližně 300 souborech, Centos vydržel déle, přestože jel na nejslabším HW.

Vyřešil jsem to prodlevou 10s po cca 50 souborech a chyba se nekoná takže mi to žíly nerve. Nicméně co by mohlo mít na toto chování vliv? Jaká systémová proměnná by to mohla ovlivnit?

Odpovědi

[mireceq]

man ulimit

[Michal Marek (twofish)]

Jenže defaultně jde otevřít kilo souborů najednou, tohle bude spíš nějaký limit Samby...

[Milan Dobeš]

díky za odpověď, limit samby to není, samba slouží pouze pro nasdílení disku z win2000 serveru. Chyby padají i když ty soubory nakopíruju do příslušného adresáře z Linuxu. Jinak při zpracování počet otevřených souborů nenarůstá, protože zpracovávaný soubor je vždy uzavřen a smazán včetně pomocných pracovních souborů.

Na ten ulimit se podívám a dám vědět. Zatím díky.

[Milan Dobeš]

Tak jsem se díval na hodnoty vracené ulimitem na RH7.3, RH9 i Centosu a jsou naprosto stejné. Takže tím nelze vysvětlit větší odolnost Centosu (faktem je že je na 2.6 kernelu a RH jsou na 2.4).

Zajímalo by mně jestli principiálně když uzavřu v linuxu soubor, eventuálně jej i smažu, jestli mi ihned zmizí z mnou užívaných systémových prostředků a nebo až po nějaké době. Protože potom bych si dokázal vysvětlit to chování tím, že když používám v aplikaci velké množství souborů, mohu se dostat přes limit 1024, přesto že v jedné chvíli mám otevřeno jen několik desítek souborů.

[zabza]

Můžete testovat prográmkem z odtud, nastavovat různé hodnoty file-max a ulimit -n...

Taky může být problém v SELinuxu nebo nějakém jiném bezpečnostním patchi?

[Milan Dobeš]

Díky, vyzkouším, SELinux mám všude vypnutý, s /proc/sys/fs/file-max jsem zkoušel laborovat ručně bez výsledků. Zkusím ještě měnit ulimit -n. Na všech serverech kde jsem to testoval je kernel kompilovaný s ABI patchem. Možná je to v něm...

Jinak nevíte někdo když uzavřu v linuxu soubor, eventuálně jej i smažu, jestli mi ihned zmizí z mnou užívaných systémových prostředků limitovaných "ulimit -n" a nebo až po nějaké době, eventuálně po ukončení aplikace?

[zabza]

A to je tak těžké to vyzkoušet? (Hint: otevírám fd dokud to jde - to dělá ten prográmek , pak jeden fd zavřu, a zusím hned otevřít...)

[Milan Dobeš]

Tak jsem si nastavil ulimit -n na dvojnásobek (2048) a výsledek je naprosto totožný. Chyba spadne po zpracování přesně stejného počtu souborů. Takže jsem s rozumem v koncích.