Dotaz: Log analyzer - textove soubory; hodne; zabalene

[Alfonz]

Ahojte, už nějakou dobu hledám pořádný analyzátor logu (ideálně bude pracovat sám, udržovat index, parsovat).

Potřeby:

- Ideálně webové rozhraní (data, log level, hledání,tagy, jednoduchý graf s časovou osou?) - nutná práce s více textovými soubory (prostě pracovní složka, kde budou nabíhat logy) - měl by být schopný pracovat s zabalenými (tar.gz, případně mít možnost načítat specifickým příkazem) - velké soubory (cca 2-3GB za pár hodin, obvykle rozdělené) - mít možnost nastavit hledání (regexp, pro značkování) - nechci měnit současné nastavení výstupů (tzn žádné json, posílání přes nějaké další služby atd) - nechtěl bych něco co je hodně rozsáhlé a zbytečně komplikované

Zkoušel jsem:

goacess -> pěkný, rychlý, je schopný otevírat velké soubory dobře, akorát není moc možné přidat další formáty a nastavit jiné metriky; dále nelze nechat ho načítat další soubory s jiným formátem, má ok rozhraní; 2-3 pády pi větších souborech když se nepodaří načíst formát, podařilo se mi vyřešit

lnav > zřejmě umí zpracovat další formáty, ale často padá u větších množství dat

Díky za rady.

Odpovědi

[X]

ELK Stack 50c

[alfonz]

ELK moc nevypadá jako věc co bych zrovna chtěl > je tam spousta částí a neuvěřitelně komplikovaný setup. Je to pouze pro prohlížení logů/správu. Nemělo by to vyžadovat nějak komplikované nastavení kromě regulerniho vyrazu pro parsovani.

[MP]

Podle mne nic rozumneho fungujiciho nad soubory nenajdete - zpracovani logu vzdy nejakou dobu trva. A pokud chcete nejakou operativnost, tak prestante hledat kolo s hranatyma kolama a bezte do log systemu jako ELK, Graylog etc.

[Peter Golis]

Ale existujú, veď SIEM sa ponúka aj ako služba.

[MP]

OK, budiz. Ale kdyz se kouknu na https://www.dnsstuff.com/free-siem-tools, tak si budu stat na svem - programy jako goaccess jsou primo mirene na konkretni aplikace, ale pokud ma mit centralni logovani/analyza smysl, tak nic bez databazoveho backendu nema smysl.

[Peter Golis]

SIEM dodáva aj známa firma SolarWinds (noflame), a konkrétna implementácia záleží od potrieb a finančných limitov. Je ich dosť, a človek si môže sám aj zložiť konkrétne riešenie podľa svojich predstáv.

Efektívne vyhľadávanie v logoch zvládne okrem databázy aj napríklad elasticsearch. Jedna z implementácií je naznačená napríklad v úvodnom dieli tu, ale nepoužívam to.

[alfonz]

No to si nemyslím. Právě že např. goaccess pokud by uměl i jiné varianty, tak je v pohodě. Budu muset prozkoumat nové verze. Jinak nevadí mi, že tam bude databáze pro ukládání, jde jen o to, aby to nebylo neúměrné rozsáhlé oproti hlavní službě. Jednoduše řečeno moje hlavní služba je to co je důležité a nesmím na logování a ostatních věcech pak trávit více času než je nutné. Tzn chci co nejméně závislostí v hlavní službě (je na více serverech) a z nich si pak jiná služba pouze vykopíruje data. nesmí tam být žádné další věci. Hlavně jde o bezpečnost/správu/udržitelnost.

Dále nemyslím si, že hledám kolo s hranatýma kolama ... našel jsem např. zřejmě placený, ale asi dobrý solarwinds papertrail..

[alfonz]

Tak se vracím ke komunikaci. Zkoušel jsem Graylog a logstash a ani jeden rozhodně není ok (spíše naopak). respektive samotné nastavení a rozchození je hodně problematické a třeba graylog vyžaduje spoustu věcí (graylog, filebeat, elasticsearch a mongodb a javu) > to mi nepřipadá, že by mělo být nutné pro analýzu logu, když základní zvládne na 500MB souboru python s mmap a re vcelku rychle.

Takže jsem znovu zkoušel goaccess a to vypadá stále nejlépe.

Lnav se mi stále nedaří přimět k tomu aby správně parsoval data a zprávy, vypadá to tak, že je tam nějaká chyba. Pokud se mi to nepodaří rozjet, tak asi zkusím vylepšit goaccess o možnost parsovat i jiné zprávy.

Jinak se zeptám, co tedy používáte? Možná by mi ani nevadila placená aplikace, pokud bude dobře fungovat. Našel jsem Solarwinds log analyzer ale, to je webové a cloudové.

Ještě jsem si uvědomil, že mi ani nevadí, když to bude chvíli trvat než se to zpracuje.

[Heron]

Většinou vlastní řešení. Záleží, jak je kdo schopnej si něco spíchnout sám. ELK mi nesmí do domu, v idle a bez dat to startuje 4minuty a vezme si to 6GB RAM. Vlastní analýza logů naivně řádek po řádku je mnohem rychlejší a s mnohem menšími prostředky. Data uložit někam, kde se s nimi bude dobře pracovat a dát si velký pozor na náročnost mazání starých dat - tj třeba dát to do psql, mít tam miliardu záznamů za měsíc a od konce je po jednom odmazávat není zrovna dobrý nápad; je nutné to shardovat a mazat celé tabulky (třeba po dnech). (A na toto je potřeba myslet předem.) Záleží, co má být cílem a k čemu ty logy mají sloužit. Já vždy jedu vlastní řešení. V table je timestamp, kompletní řádek logu a v dalších sloupcích potom vybraná data z daného řádku (nemusí tam být všechno a navíc tom může být nějak předzpracované). Z toho potom nějaké statistické tabulky (hodinové průměry apod.).

[alfonz]

Jo tako jsem ELK kvůli tomu dal pryč > přišlo mi, že jsem vlastně jen nastavoval, abych pak zjistil, že to nepoužitelné. Respektive není možné, aby analýza logu byla více náročná než samotná aplikace co je klíčová.

Právě jsem si mysle, že existují nějaké jednoduché tooly na, ale vypadá, to že bohužel ne.

[elenril]

Mám podobné zkušenosti. Můj problém byl mírně jiný - chtěl jsem agregovat logy z vícero strojů, které by pak nějaký nástroj automaticky četl a posílal mi notifikace, že se někde stalo něco zajímavého. Zatím jsem skončil u OSSEC, ale nejsem zcela spokojený - je to takové neprůhledné a málo flexibilní. Až budu mít čas, tak si chci napsat něco vlastního.

[alfonz]

Já mám nyní podobné použití. Logy ze strojů ukládám jako soubory a ukládám na úložiště. Vyčítám pouze klíčová data nyní. Chtěl jsem, ale procházet vše a ideálně získat i nějaké info a problematickém stavu. Nemuselo to být okamžitě. Ale vypadá to, že stále zůstanu u notepadqq, lnav a pythonu.

Opravdu nechápu, jak je možné že všechny ty programy (graylog, logstash,filebeat,kibana,elasticsearch apod) jsou tak podivně postavené a všichni jsou z toho nadšeni. Přijde mi, že vlastně nic neřeší.

[MP]

Jestli to nebude tim, ze mate predstavy ohledne zpracovani logu jako delat si tabulky a vypocty v notepadu vs excel. ELK je mocny nastroj a rozhodne umi hodne veci.

Napr. resi ten vas python spravu uzivatelu/acl? resi zivotnost logu, ukladani dat, skalovani pres vice serveru, triggery, tabulky, dynamicke zmeny? Zvladne ten vas python stovky giga, desitky tera dat?

[Alfonz]

Pokud by ELK bylo jako excel, tak budu spokojený. Myslím, že tak to však není. Excel zvládne používat rychle a úspěšně spousta lidí, něco jako goaccess. Ale ELK takto nefunguje.

Jinak, jak jsem psal, já nechtěl python, chci něco jako goaccess ale s více možnostmi (více formátů) a to tam bohužel nejde. Co se týče pythonu, tak bez problémů to zvládá z více serverů, jelikož to tak mám a zatím všechno množství, co jsem předhodil to zvládá. životnost to neřeší a ukládání pouze jako zip. Triggery/tabulky taky ne. Jinak stovky giga ano. V tuto chvíli mám přes 50GB zabalených logů tedy asi přes 300-400GB. Mám to nyní pouze ondemand.

Avšak i na jiných uživatelích výše vidíte, že by takovouto aplikaci chtěli a že nechtějí ELK, takže si nemyslím, že bych měl úplně přehnané požadavky. A pokud mám, tak bohužel.

[Alfonz]

Tak jsem znovu zkoušel graylog > docker verzi a opravdu to není pro mě, chybí tam stále to načtení těch souborů a to zatížení systému je fakt enormní (není možné to nasadit na hloupý malý nas s 128 MB pro kontejner. Takže jsem dal okno znovu Goaccess a LNAV. Goaccess mábohužel stále ten problém s přizpůsobivostí, takže jsem ho nechal. Ale Lnav se nakonec ukazuje a si jako cesta( jediný problém je rozhraní, škoda že tam není nějaký html export). Lnav umí nejenže zřejmě více formátů v souboru, ale i takzvaný globální formát, který umí data dolovat a i ukládádat do csv/sqlite a rovnou i zpracovat přes sqlite. Takže asi vezmu toto.

Chtěl jsem se zeptat, zda by někdo se nechtěl do budoucna spojit a zkusit dát dohromady např. řešení nad lnav pro analýzu logů, nebo se připojit do vývoje lnavu a řešit webové rozhraní.

Takže děkuji za info od ostatních. Díky.