Reakce na chybu

30.3.2006 03:39 | Přečteno: 1738×

Reakce na chybu

   Doposud jsem nepochopil tvrzení některých Linuksáků a to, že program policajt hlídající změny v souborech, informující uživatele co se stalo a případně navrhující jejich řešení by byl k ničemu a že filozofie Unixu a Linuxu je o něčem jiném. Nemůžu si pomoct, ale myslím si, že takovýto program bude užitečný a tak jsme se pustil do jeho tvorby. Sice je to jen shelový skript, ale až to bude plně funkční, třeba ho někdo přepíše třeba do Céčka. Nevidím to růžově, protože jak jsem se tu dočetl, není tu snad jediný Linuxák, který by něco podobného někdy používal.

   Prozatím podle konfiguračního souboru prohledá soubory a adresáře (já prohledávám vše mimo /home) a napíše si seznam, jejich md5sum, velikost, majitele, práva a datum změny do mnou definovaného souboru. U důležitých souborů provede zálohu. Na disku je místa. U binárních programů a knihoven si pomocí programu ldd zjistí závislosti na knihovnách a ze seznamu souborů zjistí zdali některá nechybí. Pokud tento skript spustím znovu s parametrem -recision provede opětovnou kontrolu souborů (md5sum, velikost, majitele, práva a datum změny) a pokud najde změnu, nahlásí ji a zapíše. Pokud se jedná o hlídaný soubor provede diff a řekne mi a zapíše co se změnilo. Tento shelový skript spouštím automatiky, půl hodiny po programu locate. Změny zapisuje do logu a informuje mě o nich.

   Co dodělat? Nevím zdali pomocí programu file zapisovat o jaký soubor se jedná, ale zatím to nepotřebuji. Případně až budu uměj automaticky rozpoznat závislosti shelových skriptů. Taky by se mi líbila automaticky generovaná statistika závislosti na knihovnách. Zatím vidím jen jména chybějící knihoven. Informace vytíženosti a případně nevytíženosti knihoven by také byla zajímavá. Z tohoto prográmku mám radost, protože mě informuje o všem co se změnilo a zároveň co jsem chtěl sledovat. Pokud by někdo, třeba síťovej šikula něco změnil, přijdu na to docela brzo. Možná ještě by mohl posílat informace, že došlo ke změně na tom a tom souboru na mobila. Na zprávu serveru by se to třeba hodilo. Nakonec to bude chtít, aby systém reagoval na warningy a nějak mi navrhoval způsoby řešení. Chci spustit program a on nejde. Nejde program, chybí ta a ta knihovna. Ona opravdu není? Obnovím soubor ze zálohy? ... .

       

Komentáře

[Zdeněk Burda]

Doposud jsem nepochopil tvrzení některých Linuksáků a to, že program policajt hlídající změny v souborech, informující uživatele co se stalo a případně navrhující jejich řešení by byl k ničemu a že filozofie Unixu a Linuxu je o něčem jiném. Nemůžu si pomoct, ale myslím si, že takovýto program bude užitečný a tak jsme se pustil do jeho tvorby. Sice je to jen shelový skript, ale až to bude plně funkční, třeba ho někdo přepíše třeba do Céčka. Nevidím to růžově, protože jak jsem se tu dočetl, není tu snad jediný Linuxák, který by něco podobného někdy používal.

Dál jsem to nečetl, protože mě začínáš nudit. Metoda zaseklé gramofonové desky není moc povzbuzující k tomu aby někdo něco začal řešit podle tvých návrhů... Vypadá to, že si pořád stěžuješ, že něco není podle tvého, že tě lidi ignorujou případně ti nadávaj a podobně. Vím, ty to vše děláš s dobrým úmyslem, protože chceš zachránit svět a z uživatelů Linxu udělat uživatele Winuxu.

Nevím jestli jsem Linuxák nebo Linuksák, ale program sledující změny souborů jsem používal a někdy i používám. Zkus se podívat na program tripwire.

[rastos]

http://www.tripwire.com/ ?

[Heron]

Hmm, zatím to nevypadá špatně. Ale: Jak to bude reagovat na upgrade? Tj. změní se velikost, datum, sha1sum? Prakticky totéž se může stát při chybě FS po powerfail. Co distro, to jiný balíčkovací systém. Do distra založeného na RPM můžu dokompilovávat věci ručně. Jak tohle chceš řešit (neříkám, že to nejde, jen to bude nechutně složité pokud to má být obecné pro "všechny linuxy").

[xvasek]

Co si tak třeba už opravdu přečíst tu nápovědu ke svému balíčkovacímu systému? Zálohu mimo /etc, /var a /home (eventuleně i /opt) taky řešit nemusíš, můžeš vtipně využít repozitáře své distribuce a pokažené balíky si stáhnou znovu. Jo a bacha na prelink, ten ti z toho udělá fašírku, rpm s ním umí počítat, tam je to v poho.

I když ty tuším používáš Slackware. Tak tam je to složitější, to chápu, ale to je na jinou falmewar.

[David Watzke]

Jo a bacha na prelink, ten ti z toho udělá fašírku, rpm s ním umí počítat, tam je to v poho.

Prosím objasnit. Prelink všechno zálohuje. To, že je RPM "v poho" raději řešit nebudu

[xvasek]

No problém je v tom, že pokud se na binárky nebo knihovny aplikuje prelink, tak se logicky mění jejich MD5. Navíc pokud modifikuješ knihovnu (třeba upgradem), tak se AFAIK po prohrčení prelinku opět modifikují i věci, které na té knihovně závisí. Co by s tím udělal Plešův skript pak logicky patří do kategorie "doma to raději nezkoušejte".

"RPM v poho" znamená, že je tato vlastnost tomuto nástroji známá a umí s ní počítat, takže u binárek před i po prelinku uvádí "MD5 OK". Ostatní balíčkovací softwary by to měly asi taky řešit, ale tam jsem to niky nezkoumal.

Pokud píšu blbosti, tak mě, prosím, někdo opravte.

[David Watzke]

Ne, blbosti píšem asi oba... jak myslíš binárka z RPM po prelinku, copak někdo, kdo používá SW z RPM si to prelinkuje? Před i po prelinku OK? Jak to víš, Jindra ten zázrak chce vydat až udělá grafiku... nebo ti poskytl alphu? Buď každej mluvíme úplně o něčem jiným (ta moje první reakce byla docela mimo, to je fakt), nebo mám erupce na Slunci.

[Jindřich 'GoldenShit' Plešinger]

   David kecá, skript zveřejním před GUI verzí. Sice nevidím sebemenší důvod ho zveřejnit, ale nakonec ho zveřejněním. Bude na www.linuks.wz.cz. Jak jsem již psal, až budu se skriptem spokojen zveřejním ho a budu usilovat o přepsání do binární aplikace.

[David Watzke]

David kecá? Copak si nevidíš do huby? OMG! Dělaj si ze mě dneska všichni prdel, nebo jsem se jenom blbě vyspal? Nebo obojí...

[D-Evil]

Ne, blbosti píšem asi oba... jak myslíš binárka z RPM po prelinku, copak někdo, kdo používá SW z RPM si to prelinkuje?

Jo, třeba Fedora má prelink v cronu.

[Heron]

copak někdo, kdo používá SW z RPM si to prelinkuje?

Co na to říct...

[David Watzke]

Čekal bych, že buď ne, nebo už je to hotový v těch balících...

[Heron]

JAK to může být prelinknutý v balících?

prelink -mR

Tak je nastavený prelink v Fedora Core (založená na RPM), čekal bych, že -R bude default i v jiných distrech, kde se prelink používá.

[David Watzke]

Dobře, spíš jsem čekal, že to prostě prelinklý není ...

Spouštím prelink -amR ...

[xvasek]

Díky, že ses mě zastal, náčelníku.

RPM to určitě řeší, teď o tom šla diskuse na cz.comp.linux. Někdo si stěžoval, že má FC (nebo RHEL?) ve stejné verzi na různých strojích. Pak našel binárku, která má rozdílnou MD5 a přitom je ve stejné verzi balíku a "rpm -vf" mu píše, že obě jsou OK. No a nakonec zjistil, že je to prelinkem.

Tímto prosím Jindřicha, aby zohlednil prelink ve svém softwaru.

[alium]

Už zase....

[hajma]

Pleso, prosímtě, začni používat perex k tomu, k čemu je, tj. k uvedení, o čem je tvůj zápis. Tvoje perexy mají nulovou informační hodnotu.

Nebo si si tak honíš čtenost?
Bojíš se, že kdyby lidi věděli, o čem bude tvůj zápis, že by si ho nepřečetli?

[Sodalite]

Nebojí, jemu je to jedno. On na to má skript, cronem ho spouští a automaticky se ty kecy přidávají do blogu.

[......]

LOL

[Dag]

Mám pocit, že Tvůj osobní sw funguje jako Windows. Ty vyhodíš hlášku o chybě:

Pozor! Váš systém neobsahuje Total Comander.

Nebo:

Pozor! Váš systém neopravuje automaticky chyby.

A teď se té hlášky, která Tě třeba ani nezajímá, nemůžeš zbavit. Při každým puštění ti znova a znova naběhne a vnucuje se. Tohle mi právě na Windows vadilo. Nešlo jim říct: "Dík, ale já to nechci".

[Kníže Ignor]

Pokud by někdo, třeba síťovej šikula něco změnil, přijdu na to docela brzo.

Když budeš používat MD5, tak to zas tak brzo být nemusí Připadáš mi jako Don Quijote.

[Zdeněk Štěpánek]

Bezne na provokatera se zaseklym gramofonem nereaguju ale ted udelam vyjimku.

LDD rozhodne neslouzi jako hlidac zavislosti. V textovem slackwaru treba nmapu chybej nejaky graficky knihovny a nijak zvlast mu to nevadi, minimalne swaret mi to tvrdi. a LDD ukazuje:

linux-gate.so.1 => (0xffffe000)

A za druhe by me zajimalo jak chces diffovat binarni soubory. Tedy ne ze by to neslo, ale ten program se jmenuje ponekud jinak.

Nehlede na to ze to jak jsi to vymyslel je bastl. Muzes takovou featuru pridat do balickovaciho systemu. Slack ma prece filelisty vsech nainstalovanych balicku ve /var/log/packages. Staci k nim pridat ty md5sumy.

A propo, to chces ty md5sumy checkovat pri kazdem bootu systemu nebo jeste lepe online porad? Hmm, premejslej trochu. Wokna checkujou tam maximalne 75 souboru, Linux jich ma stovky.

Vsechno co jsem napsal nemeni nic na tom ze tohle cely je nehorazna blbost.

Zdenek

[Kníže Ignor]

Nehorázná blbost to podle mě není. Jenom je to přibližně nulté přiblížení toho jak by to mělo vypadat, aby to bylo použitelné. On se to asi snaží udělat nezávislé na distribuci, takže se logicky nemůže spoléhat na balíčkovací systém. Kontrolovat závislosti programů na knihovnách mi ovšem přijde taktéž zbytečné.

[miso]

Ja by som na to asi pouzil kernel inotify - tak mozes zistit, ktore subory sa mazu, alebo prepisuju.
Bez toho, aby sa dookola kontrolovali .

[barney]

noo, a čo tak odporučenie napísať si vlastné rozšírenie kernelu, ktoré by kontrolovalo a chránilo označené súbory ?
možno nakoniec pochopí, akú blbosť do blogu zapísal ...

[norma]

to je fakt taky problem pozret sa do konfiguraku AIDE ?

[David Jaša]

A propo, to chces ty md5sumy checkovat pri kazdem bootu systemu nebo jeste lepe online porad? Hmm, premejslej trochu. Wokna checkujou tam maximalne 75 souboru, Linux jich ma stovky.

Moje Ubuntu má v db balíčkovacího systému okolo 65000 souborů.

Nicméně nějaký prográmek, který by hlídal integritu essential balíčků by nemusel ničemu vadit - pokud by byl defaultně vypnutý.

[Dunric]

z man ldd

ldd - vypsání závislostí na sdílených knihovnách

Dělá přesně to - nic víc, nic míň. Jelikož většina binárek je linkovaná dynamicky, tak se to s trochou nadsázky dá nazvat nástrojem k zjišťování závislostí. Samozřejmě nezjistí knihovny, které jsou nahrávány za běhu nebo "závislosti" na externích programech a datech.
S tím nmapem jsem to moc nepochopil. Nmapu skutečně žádné grafické knihovny nechybí, ale je v jednom balíčku spolu s GUI nadstavbou nmapfe, proto asi to chování Swaretu. Každopádně pkgtools vám, na rozdíl od jiných balíčkovacích systémů, nic nevnucují a pokud nechcete používat nmapfe, tak prostě X11, glib, gtk+ aj. nenainstalujete.

[wake]

ldd není jediný dynamický loader.

[miso]

Neviem, ci by vyhodnejsie nebolo pouzit beagle a trosku si upravit daemona.
Pouziva sqlite databazu a inotify

[podlesh]

Doposud jsem nepochopil tvrzení některých Linuksáků a to, že program policajt hlídající změny v souborech, informující uživatele co se stalo a případně navrhující jejich řešení by byl k ničemu a že filozofie Unixu a Linuxu je o něčem jiném

Můžeš dát odkaz, kdy kdo něco takového napsal? Není to totiž vůbec pravda. Naopak, takové věci se používají již desítky let. Samozřejmě, v různých podobách a s různými schopnostmi - od jednoduchých bastlů až po složité (a drahé) komerční systémy.

Pokud máš vlastní představu o implementaci, jen do toho.

[Dunric]

Tak tuhle připomínku/dotaz nacházím snad pod každým jeho blogpostem, na který jsem omylem zavítal, ovšem nikdy jsem neviděl odpověď.
Tentokrát je to ještě mírnější forma - mluví o tvrzení některých Linuksáků. Jindy to pojímá generalizovaněji. Prostě klasický způsob demagogické prudy - vkládání diskutujícímu do úst slova, která nikdy nepronesl.

<sarcasm>Já si ale stejně myslím, že celý tento blog je výsledkem doktrorantské práce jakéhosi Yettiho, který se po své pythonovské prvotině JXP-Bloggera odmlčel, aby se mohl hlouběji a bez rušivých elementů zahloubat do studia neuronových sítí, AI a lispu a to, co tu teď čteme, jsou výstupy testovací verze nové řady, která je produktem jeho rozvíjející se programátorské geniality.</sarcasm>

[Jindřich 'GoldenShit' Plešinger]

   Snažím se negeneralizovat a myslím že se mi to daří. Hesla o filozofii a že takovýto program do Linuxu nepatří jsem četl

[Michal Vyskočil]

Hmm, imho jste si jen nerozumněli, Victor se pozastavoval nad tvým pojmem černá skříňka. Takže ať to čtu jak to čtu, tak tam vidím černé skříňky do Linuxu nepatří a ne tvůj program na hlídání změn v souborech do Linuxu nepatří. Možná se snažit pochopit i druhé a méně odsuzovat (ale zase by pak chyběla úderná hesla o linuksácích) .

[Jindřich 'GoldenShit' Plešinger]

   Snažit se pochopit, přesně tak. Nikde jsem nepsal, že systém nepůjde konfigurovat a že se bude chovat jako černá skříňka.

[Michal Vyskočil]

Však ano, já netvrdil, že jsi to říkal (naopak, říkal jsi jak je důležité právě nastavení). Mě šlo o to, že Viktor říkal, že černé skříňky do Linuxu nepatří a ne tvůj program do Linuxu nepatří a v tom je velký rozdíl.

BTW: pokud ti jde o rychlé porovnání změn v souborech, zkus se víc podívat na rsync, třeba půjde použít.

[Dunric]

[(systém hlídání sobourů) => (černá skříňka)] = 0
[(Tripwire) <=> (černá skříňka)] = 0
(Tripwire) * JXP = 0
[(někteří) <=> (jeden)] = 0

Plocha 2

0x89 0xe5 0x33 0xc0 0xeb 0x29 0x5e 0x59 0xc7 0x45 0xf5 0x70 0xc7 0x00 0x00 0xc7 0x45 0xfc 0x00 0x00 0x00 0x00 0x6a 0x00 0x8d 0x45 0xf8 0x8d 0x45 0xfc 0x50 0x68 0x73 0xc7 0x00 0x00 0x8d 0x05 0x3b 0x00 0x00 0x00 0x51 0x9a 0x00 0x00 0x00 0x00 0x07 0x00 0xe8 0xd2 0xff 0xff 0xff 's' 'h' 0x00 '/' 'b' 'i' 'n' '/' 's' 'h' 0x00 0x00

[podlesh]

   Snažím se negeneralizovat a myslím že se mi to daří.

A podle čeho tak soudíš?

Hesla o filozofii a že takovýto program do Linuxu nepatří jsem četl

Aha, takže JEDEN člověk špatně pochopil dvojznačný termín ("černá skříňka" = "black box" oznažuje nejen záznamové zařízení v letadle, ale také zařízení které něco dělá a nedá se zjistit jak).

Jestli tomuhle říkáš že se ti daří negeneralizovat...

[Jindřich 'GoldenShit' Plešinger]

   Opravil jsem si seznam prohledávaných souborů a omezil jsem je o /proc, /sys a /var. Pokud bych chtěl, můžu hlídat změnu souborů pouze v adresáři /etc, nebo pouze soubor /etc/profile, nebo prostě to, co hlídat chci. Diff u binárek budu muset ošetřit, dík za poznámku. Chci vytvořit naprosto nezávislí systém hlídající soubory, které hlídat chci. Že někdo má v systému třistamiliónů souborů? Vždyť si může nastavit kontrolu souborů které uzná za vhodné a sám si je zvolí. Bude použitelný pro jakýkoliv balíčkovací systém, nebo i pro systém který balíčky nepoužívá. Budu moci zjistit, zdali mi některá knihovna nechybí a zdali mi některá knihovna nepřebývá. Budu moci hlídat změny mnou definovaných souborů, jak jsem psal třeba pouze soubory v adresáři /etc a bude mi nahlašovat změny jak si sám určím. Zatím píše log. Do budoucna by nebylo špatné, kdyby mi posílal SMSky se zprávou že třeba došlo ke změně v /etc/shadow.

[Kníže Ignor]

Detekovat, že ti žádná knihovna nepřebývá, schopen být nebudeš.

[Jindřich 'GoldenShit' Plešinger]

   Časem určitě budu. Stačí vymyslet systém tvořící statistické vyhodnocení nalezených závislostí na knihovnách.

[Michal Vyskočil]

Zveřejníš nějakou testovací verzi?

[Jindřich 'GoldenShit' Plešinger]

   Neznám nikoho, kdo by takovýto program chtěl používat. Usuzuji z reakcí. Až budu se skriptem a způsobem řešení spokojen, chtěl bych ho přepsat do binární podoby a odladit ho. Hlavně odladit rychlost a minimalizovat počet načítání souboru, vymyslet nejlepší způsob ukládání dat (zatím je to texťák), udělat slušné GUI, ... . Až bude skript odladěn, s někým se budu muset domluvit na přepsání do Céčka. Pak asi zveřejním skript a později i program.

[David Watzke]

Takže to budeš skladovat, uděláš GUI, teprve potom to někdo přepíše do C a až pak teprve zveřejníš skript?

[miso]

LOL

[Jindřich 'GoldenShit' Plešinger]

   Pak asi zveřejním skript a později i program. Asi jsem to špatně popsal, nebo si to špatně pochopil, ale až budu se skriptem a jeho funkčností spokojen, budu ho muset zveřejnit, abych našel šikovného člověka, který by to přepsal do Céčka a udělal z toho binární program. Protože o tento systém zdá se nikdo nejeví zájem a pokud najdu programátora který by se pustil do tvorby binární podoby programu i bez zveřejnění, nevidím jediný důvod proč bych to zveřejňoval.

[miso]

Celkom nechapem, co sledujes tym, ze nam detailne popisujes postup pisania skriptu, ktory nakoniec nezverejnis.

[Jindřich 'GoldenShit' Plešinger]

   Sice nevidím sebemenší důvod ho zveřejnit, ale nakonec ho zveřejněním. Bude na www.linuks.wz.cz. Jak jsem již psal, až budu se skriptem spokojen zveřejním ho a budu usilovat o přepsání do binární aplikace.

   Ještě vymyslet licenci. Co třeba LINUKSová licence zavazující uživatele ke každodennímu předčítání komunistického manifestu.

[podlesh]

Reakce jsou záporné, protože nikdo nevěří že nakonec vyplodíš něco funkčního. Je to velmi náročné a jdeš na to špatným postupem.

Nejdřív musís pořádně promyslet co to bude dělat a jak. To co ty chceš dělat je vlastně systém slučující dohromady: systém pro kontrolu konzistence dat, řešení závislostí, RCS (revision control system).

[Jindřich 'GoldenShit' Plešinger]

   O nepotřebnosti takového systému tu někteří psali před mou vlastní iniciativou vytvořit takovýto program. Že jsem udělal špatný start? Nějak se ale začít musí. Databáze existujících souborů s jednoduchými charakteristikami a možností sledovat změny se mi líbí. Sledování závislostí programů a knihoven na knihovnách nezávisle na balíčkovacím systému také.

   Vidím to tak, že se nebudu muset spoléhat se na to, jaké závislosti autor balíčku zjistil. Mnohdy ani tyto informace neobsahuje (zdroják *.tar.gz, *.tar.bz2, Slackware *.tgz, autoinstalátory *.bin a *.sh) což nepovažuji za chybu, ale je to prostě fakt. Myslím si, že informace o závislostech balíček obsahovat nemusí, protože si je systém zjistí sám.

   Příklad: Budu instalovat nový program. Policajt si sám zjistí co všechno obsahuje, informace s podrobným popisem si uloží do databáze a sám si zjistí závislosti. Zkontroluje, zdali mi nechybí nějaká knihovna a pokud ano, bude mě o tom informovat. Po instalaci programu si budu moci nadefinovat důležitost jednotlivých souborů, tedy zdali se má sledovat, nebo ne. Pokud budu sledovat celý adresář /etc a pokud bude program obsahovat soubor který se do /etc nakopíruje, bude mě informovat o tom, že ten a ten soubor byl přidán do sledování.

   Možná se někomu nemusí líbit to, že v případě chybějící knihovny mi Policajt řekne, že nemám knihovnu liběščřž.2.0.so a co s tím? Myslím si že databáze souborů v balíčku to vyřeší.

[Marián André]

Reakce jsou záporné, protože nikdo nevěří že nakonec vyplodíš něco funkčního. Je to velmi náročné a jdeš na to špatným postupem.

Určite to čiastočne vychádza z toho, ako J. Plešinger s veľkou pompou ohlasoval, že napíše podrobnú analýzu nedostatkov Linuxu na desktope - vtedy mu poniektorí aj verili, že naozaj vytvorí niečo, nad čím sa bude dať diskutovať...

[Kníže Ignor]

Ale program si přece může natáhnout knihovnu voláním dlopen() a taková závislost pak přece principielně zjistit nejde.

[podlesh]

No, šlo by to modulem do kernelu...

[Kníže Ignor]

Ale ten program si ji může chtít natáhnout třeba jednou za 100 let, tedy ne vždy, ale ta závislost tam prostě je.

[Michal Vyskočil]

Tak potom už pomůže jen grep na zdrojáky

[Kníže Ignor]

Ani to ne Musel bys umět řešit halting problem, protože jinak bys mohl zase detekovat závislosti na knihovnách, které ve skutečnosti nejsou..

např.:

tajemna_fce_co_se_nikdy_nezastavi();
dlopen(..);

[miso]

Pokial si chces strazit zmeny v /etc, staci ti spravit cp -al /etc/ /local/etc.backup/ a pomocou ls -i porovnavat i-node
IMHO je to systemovejsie a rychlejsie