Dotaz: Log analyzer - textove soubory; hodne; zabalene

[Alfonz]

Ahojte, už nějakou dobu hledám pořádný analyzátor logu (ideálně bude pracovat sám, udržovat index, parsovat).

Potřeby:

- Ideálně webové rozhraní (data, log level, hledání,tagy, jednoduchý graf s časovou osou?) - nutná práce s více textovými soubory (prostě pracovní složka, kde budou nabíhat logy) - měl by být schopný pracovat s zabalenými (tar.gz, případně mít možnost načítat specifickým příkazem) - velké soubory (cca 2-3GB za pár hodin, obvykle rozdělené) - mít možnost nastavit hledání (regexp, pro značkování) - nechci měnit současné nastavení výstupů (tzn žádné json, posílání přes nějaké další služby atd) - nechtěl bych něco co je hodně rozsáhlé a zbytečně komplikované

Zkoušel jsem:

goacess -> pěkný, rychlý, je schopný otevírat velké soubory dobře, akorát není moc možné přidat další formáty a nastavit jiné metriky; dále nelze nechat ho načítat další soubory s jiným formátem, má ok rozhraní; 2-3 pády pi větších souborech když se nepodaří načíst formát, podařilo se mi vyřešit

lnav > zřejmě umí zpracovat další formáty, ale často padá u větších množství dat

Díky za rady.

Odpovědi

[X]

ELK Stack 50c

[alfonz]

ELK moc nevypadá jako věc co bych zrovna chtěl > je tam spousta částí a neuvěřitelně komplikovaný setup. Je to pouze pro prohlížení logů/správu. Nemělo by to vyžadovat nějak komplikované nastavení kromě regulerniho vyrazu pro parsovani.

[MP]

Podle mne nic rozumneho fungujiciho nad soubory nenajdete - zpracovani logu vzdy nejakou dobu trva. A pokud chcete nejakou operativnost, tak prestante hledat kolo s hranatyma kolama a bezte do log systemu jako ELK, Graylog etc.

[Peter Golis]

Ale existujú, veď SIEM sa ponúka aj ako služba.

[MP]

OK, budiz. Ale kdyz se kouknu na https://www.dnsstuff.com/free-siem-tools, tak si budu stat na svem - programy jako goaccess jsou primo mirene na konkretni aplikace, ale pokud ma mit centralni logovani/analyza smysl, tak nic bez databazoveho backendu nema smysl.

[Peter Golis]

SIEM dodáva aj známa firma SolarWinds (noflame), a konkrétna implementácia záleží od potrieb a finančných limitov. Je ich dosť, a človek si môže sám aj zložiť konkrétne riešenie podľa svojich predstáv.

Efektívne vyhľadávanie v logoch zvládne okrem databázy aj napríklad elasticsearch. Jedna z implementácií je naznačená napríklad v úvodnom dieli tu, ale nepoužívam to.

[alfonz]

No to si nemyslím. Právě že např. goaccess pokud by uměl i jiné varianty, tak je v pohodě. Budu muset prozkoumat nové verze. Jinak nevadí mi, že tam bude databáze pro ukládání, jde jen o to, aby to nebylo neúměrné rozsáhlé oproti hlavní službě. Jednoduše řečeno moje hlavní služba je to co je důležité a nesmím na logování a ostatních věcech pak trávit více času než je nutné. Tzn chci co nejméně závislostí v hlavní službě (je na více serverech) a z nich si pak jiná služba pouze vykopíruje data. nesmí tam být žádné další věci. Hlavně jde o bezpečnost/správu/udržitelnost.

Dále nemyslím si, že hledám kolo s hranatýma kolama ... našel jsem např. zřejmě placený, ale asi dobrý solarwinds papertrail..