Nové verze: inotify-cxx a incron

5.10.2006 20:41 | Přečteno: 1373× | Software |

Kdo sleduje Freshmeat, možná si všiml, že jsem v minulých dnech vydal nové verze produktů inotify-cxx a incron. Změny jsou značné, doufám že všechny k lepšímu.

Jen stručně pro ty, kdo nevědí, o co jde: inotify-cxx je C++ rozhraní k technologii (přesněji řečeno systémovým voláním) inotify. incron je pak obdoba klasického cronu (tedy spouštění naplánovaných úloh), ovšem místo podle časových period se řídí událostmi v souborovém systému (k čemuž využívá inotify skrze inotify-cxx).

Vzhledem k tomu, že první verze byly šity hodně horkou jehlou, že se vyjasnily některé věci ohledně použití, a také že se objevily některé zvláštní požadavky, jsou nové verze dost zásadně přepracované. Nyní přináším přehled toho, co se změnilo.

inotify-cxx

Aktuální verze je 0.3.1 (od verze 0.3.0 se liší opravou chybného chování pro hodnotu EWOULDBLOCK v neblokujícím režimu).

• Využití výjimek.
  Veškeré chybové stavy se nyní hlásí pomocí výjimek (resp. jedné konkrétní: InotifyException - obsahuje textovou zprávu, kód chyby a ukazatel na objekt, kde byla výjimka vyhozena). I když to přináší dodatečnou režii, je taková obsluha chyb mnohem příjemnější a flexibilnější, proto jsem se rozhodl jít touto cestou.
• Odstranění struktury inotify_event ze třídy InotifyEvent.
  Použití již nemělo žádný smysl, deskriptor není třeba uchovávat (vzhledem k uchovávání ukazatele na watch) a název byl již dřív uložen samostatně. V souvislosti s tím zmizela i metoda GetData().
• Možnost deaktivace a reaktivace sledování.
  Lze deaktivovat události pro určitý watch - události se sice přijímají z jádra, neukládají se ale do vnitřní fronty. Možná to ještě změním (aby se vždy dočasně odstraňoval watch z jádra - události se ani nebudou přijímat), ale zatím je to takto.
• Přístup k deskriptoru, možnost neblokujícího režimu.
  Dřívější implementace neumožňovala jiné použití než blokující volání WaitForEvents(). Nyní lze jak přepnout do neblokujícího režimu, tak také získat souborový deskriptor a ten použít třeba ve funkci poll(). Režimy lze samozřejmě přepínat i pomocí fcntl(), ale použití SetNonBlock() je jednodušší a chyby se hlásí výjimkami.

incron

Aktuální verze je 0.2.0.

• Využití inotify-cxx 0.3.1.
  Nová verze inotify-cxx je využita vcelku důkladně. Většina chyb (zatím ne všechny) se hlásí výjimkami InotifyException, využívá se neblokující režim atd.
• Odstranění signálové prasárny.
  Že volání funkce wait() nemá v handleru signálu co pohledávat, je více než jasné. Bylo to dočasné řešení a zde se již nevyskytuje. Ukončené zombie procesy se sbírají voláním z hlavní smyčky.
• Možnost zabránit zacyklení.
  Tohle si někdo přál do programu přidat. Aby reakce, která by vyvolala stejnou událost, na niž se reagovalo, nevedla k zacyklení. Je to samozřejmě řešeno "svým způsobem". Cykly totiž nelze nijak detekovat, proto je jediná možnost události (všechny pro jeden řádek tabulky) deaktivovat a pak opět aktivovat. Zapnutí této volby se docílí přidáním speciálního symbolu IN_NO_LOOP (číselný ekvivalent není) do masky v řádku tabulky.

To by bylo pro tuto chvíli všechno. Doufám, že se obojí podaří co nejdříve dotáhnout do stabilních verzí. Dávám si termín to konce roku, ale lepší by to bylo samozřejmě dřív - nedávno jsem totiž zaznamenal, že incron už někdo balíčkuje pro SuSE Linux, takže by nebylo od věci, aby to skutečně fungovalo. Samozřejmě i nadále platí, že za náměty a připomínky budu velice vděčný.

---

Odkazy:

• Web projektu inotify-cxx
• Web projektu incron
• inotify-cxx na serveru Freshmeat
• incron na serveru Freshmeat

       

Komentáře

[David Watzke]

Super, díky.

[David Watzke]

Btw, ještě něco: mohl bys prosím pojmenovávat tarbally stylem program-<verze>.tar.bz2, abych mohl napsat ebuildy? Teda ne že by to bez toho nešlo, ale snad chápeš - stahovalo by to ve všech verzích ebuildu furt ze stejný URL ... to není dobrý.

[Luk]

Ony tak pojmenované jsou. Problém je jen v tom, že na těch webech jsou symlinky. Tyto symlinky vznikly kvůli snazšímu použití pro Freshmeat. Takže když si v URL nahradíš zkrácený název plným, bude to fungovat (stáhne se to). Ale možná by bylo asi lepší, aby to i na těch webech bylo s "dlouhým" názvem (bez ohledu na to, co uvedu do Freshmeatu).

[David Watzke]

Aha, tak takhle to je

[Luk]

Hotovo

[Heron]

Dobrá práce.

Dalo by se to použít na audit FS (který mi v linuxu chybí), vlastně jen stačilo nastavení icronu na logování události pro sledovaný soubor.

[David Watzke]

V jakým balíku je inotify-syscalls.h? Nikde to nemám Tedy kromě

/300GB/distfiles/svn-src/amarok/amarok/src/inotify/inotify-syscalls.h

[Luk]

Třeba tady Ale to je můj balík vytvořený ze souborů (inotify.h a inotify-syscalls.h) stažených odsud. Upřímně řečeno, nechápu, proč to dodnes není v GNU LIBC

[David Watzke]

Tak, teď ještě zjistit jak inotify-cxx zkompilovat...

# g++ inotify-cxx.cpp -I.
./inotify-syscalls.h: In function ‘int inotify_init()’:
./inotify-syscalls.h:46: error: ‘int inotify_init()’ was declared ‘extern’ and later ‘static’
/usr/include/gentoo-multilib/amd64/sys/inotify.h:80: error: previous declaration of ‘int inotify_init()’
./inotify-syscalls.h: At global scope:
./inotify-syscalls.h:51: error: ‘__u32’ has not been declared
./inotify-syscalls.h:56: error: ‘__u32’ has not been declared

Dneska mám den... ale fakt v README nic není a Makefile tam taky není...

[neal_cz]

Mě se to podařilo zkompilovat bez nutnosti použít inotify-syscalls.h, (s)prostě jsem to v inotify-cxx.h zakomentoval. Buď se v minulosti spojil obsah inotify.h a inotify-syscalls.h nebo to tak je v gentoo.

[Luk]

Zřejmě to tak je v Gentoo. Ve Fedoře žádné takové headery nejsou (a nejsou ani v základní verzi GNU LIBC).

[David Watzke]

Hm... jakou máš glibc?

In file included from inotify-cxx.cpp:27:
inotify-cxx.h:35: error: stray ‘##’ in program
inotify-cxx.h:35: error: expected constructor, destructor, or type conversion before ‘<’ token
inotify-cxx.h:136: error: ‘InotifyWatch’ has not been declared
inotify-cxx.h:235: error: ISO C++ forbids declaration of ‘InotifyWatch’ with no type
inotify-cxx.h:235: error: ‘InotifyWatch’ declared as an ‘inline’ field
inotify-cxx.h:235: error: expected ‘;’ before ‘*’ token
inotify-cxx.h:245: error: expected `;' before ‘static’
inotify-cxx.h:264: error: ISO C++ forbids declaration of ‘InotifyWatch’ with no type
inotify-cxx.h:264: error: expected ‘;’ before ‘*’ token
inotify-cxx.h: In constructor ‘InotifyEvent::InotifyEvent()’:
inotify-cxx.h:125: error: ‘m_pWatch’ was not declared in this scope
inotify-cxx.h: In constructor ‘InotifyEvent::InotifyEvent(const inotify_event*, int*)’:
inotify-cxx.h:145: error: ‘m_pWatch’ was not declared in this scope
inotify-cxx.h:148: error: ‘m_pWatch’ was not declared in this scope
inotify-cxx.cpp: In member function ‘int32_t InotifyEvent::GetDescriptor() const’:
inotify-cxx.cpp:40: error: ‘m_pWatch’ was not declared in this scope
inotify-cxx.cpp: In member function ‘void Inotify::WaitForEvents(bool)’:
inotify-cxx.cpp:261: error: no matching function for call to ‘InotifyEvent::InotifyEvent(inotify_event*&, InotifyWatch*&)’
inotify-cxx.h:136: note: candidates are: InotifyEvent::InotifyEvent(const inotify_event*, int*)
inotify-cxx.h:121: note:                 InotifyEvent::InotifyEvent()
inotify-cxx.h:115: note:                 InotifyEvent::InotifyEvent(const InotifyEvent&)

[neal_cz]

glibc 2.4-r3, Gentoo

[Luk]

Hmmm, zajímavé. Mám inotify.h a inotify-syscalls.h oba v /usr/include/sys, ale to by nemělo být zásadní. Když pak dám:

g++ -shared -o libinotifycxx.so inotify-cxx.cpp

proběhne to hladce. Jak vypadá ten tvůj inotify.h? Není v něm už totéž, co je jinak v inotify-syscalls.h?

Jinak ještě technická poznámka: inotify-cxx není určeno k samostatné kompilaci. Lze z toho samozřejmě udělat malou knihovnu, ale počítal jsem především s přímým použitím (jako třeba v programu incron).

[David Watzke]

Mám inotify.h z glibc 2.5.

[Dunric]

Hezkej wrappřík. Pár řádků kódu a jakou to udělá radost

Btw. už jsi někdy slyšel o céčkové konstrukci switch ?

[Luk]

Hezkej wrappřík. Pár řádků kódu a jakou to udělá radost

Právě Protože jsem nedávno takovou věc potřeboval a nikde jsem ji nenašel, bylo to nejjednodušší cesta.

Btw. už jsi někdy slyšel o céčkové konstrukci switch ?

Tyhle řeči mám nejradši

Máš na mysli metody GetMaskByName() a DumpTypes()? Pak určitě víš, že std::string jaksi ve switchi nejde použít. A ve druhém případě to nejde použít proto, že se pracuje s bitovými maskami a ne s hodnotami.

U toho prvního případu jsem spíš uvažoval o použití std::map, ale nemá to příliš smysl - v celkovém výkonu by se to projevilo naprosto minimálně.

[Dunric]

Sorry, trochu jsem se unáhlil Ale ne, že by to nešlo - např. mapováním výčtového typu, ale to by asi bylo z bláta do louže.

[zelial]

zdravim, vypada to na uzitecny program, taxem si jej hned vyzkousel. a mam par dotazu/pripominek (nedari se mi zaregistrovat do bug tracking systemu):

- mohl by v distribucnim archivu byt na nejvyssi urovni adresar incron-verze a az v nem samotny program?

- muj useradd nezna parametr -M, takze make install selze. co by to melo delat?

- proc se vlastne vyrabi ten incron uzivatel, kdyz pak demon bezi pod rootem?

- je mozne monitorovat adresar i s podadresari?

- pokud pouziji pravidlo s IN_CREATE a nasledne znovu zedituji tabulku, tak incrond tise zemre. bez jakekoliv hlasky do logu/konzole.

mam debian testing s vanila jadrem 2.6.17

[Luk]

nedari se mi zaregistrovat do bug tracking systemu

V čem je problém? Teď jsem to zkoušel, funguje to.

mohl by v distribucnim archivu byt na nejvyssi urovni adresar incron-verze a az v nem samotny program?

Ano, mohl, měl by, a chtěl jsem to tak udělat. Jen na to pokaždé zapomenu Ale upravím to.

muj useradd nezna parametr -M, takze make install selze. co by to melo delat?

Parametr zakáže vytvořit domovský adresář. Možná to není standardní věc, i když to v manuálu není zmíněno.

proc se vlastne vyrabi ten incron uzivatel, kdyz pak demon bezi pod rootem?

Démon s tímto uživatelem nepracuje. Ten je jen pro manipulační program (incrontab). Vlastníkem tabulek je právě uživatel incron. Program incrontab má nastaveno SUID, takže uživatel získá přístup ke své tabulce. Editace ale probíhá na dočasné kopii, před spuštěním editoru se efektivní práva přepnou na reálného uživatele, aby uživatel neměl přístup k cizím tabulkám.

U klasického cronu (program crontab) je to podobné, ale crontab běží pod rootem. Toto jsem nechtěl připustit, proto vytvářím speciálního uživatele.

je mozne monitorovat adresar i s podadresari?

inotify toto bohužel neumožňuje. Je to dáno tím, že se monitoruje inode, takže to, co se děje někde níž, už nelze zachytit. Na úrovni incronu by to šlo emulovat sledováním každého podadresáře zvlášť, ovšem na základě jediného pravidla. Problém je ovšem s tím, že když bude sledovaných adresářů moc, narazí to na limit prostředků.

pokud pouziji pravidlo s IN_CREATE a nasledne znovu zedituji tabulku, tak incrond tise zemre. bez jakekoliv hlasky do logu/konzole.

Na tohle se podívám, asi jde o nějakou chybu.

[David Watzke]

Parametr zakáže vytvořit domovský adresář. Možná to není standardní věc, i když to v manuálu není zmíněno.

useradd (z shadow 4.0.18.1) v Gentoo standardně nevytváří domovský adresář, jen s -m:

  -m, --create-home      create home directory for the new user account

[Luk]

Záleží na nastavení v /etc/login.defs. A například FC 4 tam má:

CREATE_HOME yes

Takže se adresáře standardně vytvářejí. V Gentoo je to možná jinak.

[David Watzke]

root amd64 ~ # grep 'CREATE_HOME' /etc/login.defs
root amd64 ~ # 

Ué. Takže asi default

[zelial]

nedari se mi zaregistrovat do bug tracking systemu

V čem je problém? Teď jsem to zkoušel, funguje to.

nejspis v seznamu - nedosel mi potvrzovaci mejl. druha registrace s centrem uz prosla.

je mozne monitorovat adresar i s podadresari?

inotify toto bohužel neumožňuje. Je to dáno tím, že se monitoruje inode, takže to, co se děje někde níž, už nelze zachytit. Na úrovni incronu by to šlo emulovat sledováním každého podadresáře zvlášť, ovšem na základě jediného pravidla. Problém je ovšem s tím, že když bude sledovaných adresářů moc, narazí to na limit prostředků.

jen pro prehled: jake jsou ty limity?

pokud pouziji pravidlo s IN_CREATE a nasledne znovu zedituji tabulku, tak incrond tise zemre. bez jakekoliv hlasky do logu/konzole.

male doplneni: IN_ACCESS a IN_MODIFY mi funguji, zbytek jsem nezkoumal. pokud do tabulky napisu uple blaboly, tak to projde - zadna hlaska/zadny pad.

[Luk]

nejspis v seznamu - nedosel mi potvrzovaci mejl. druha registrace s centrem uz prosla.

Ano, skutečně. Podle logu to skončilo timeoutem. Ale stejně se to podařilo později předat serveru Seznamu.

jen pro prehled: jake jsou ty limity?

Je to podle nastavení v /proc/sys/fs/inotify (resp. přes sysctl). Hodnota max_user_instances (default 128) říká, kolik file descriptorů smí uživatel max. otevřít. A hodnota max_user_watches potom, kolik watchů smí být na každém deskriptoru (default 8192). Takže celkové maximum je součinem těchto hodnot. Zase až tak málo to není, ale samozřejmě to žere paměť.

male doplneni: IN_ACCESS a IN_MODIFY mi funguji, zbytek jsem nezkoumal. pokud do tabulky napisu uple blaboly, tak to projde - zadna hlaska/zadny pad.

Žádný obsah tabulky by neměl vyvolat pád. Co se týká formátu, když se nepodaří ani základní parsing (získání 3 součástí), řádek se ignoruje. Pokud je něco blbě v masce, ignoruje se příslušná nesmyslná část.