abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 18:44 | Zajímavý článek

    Nová čísla časopisů od nakladatelství Raspberry Pi zdarma ke čtení: Raspberry Pi Official Magazine 155 (pdf) a Hello World 27 (pdf).

    Ladislav Hagara | Komentářů: 0
    dnes 16:11 | Nová verze

    Hyprland, tj. kompozitor pro Wayland zaměřený na dláždění okny a zároveň grafické efekty, byl vydán ve verzi 0.50.0. Podrobný přehled novinek na GitHubu.

    Ladislav Hagara | Komentářů: 0
    dnes 15:55 | Komunita

    Patrick Volkerding oznámil před dvaatřiceti lety vydání Slackware Linuxu 1.00. Slackware Linux byl tenkrát k dispozici na 3,5 palcových disketách. Základní systém byl na 13 disketách. Kdo chtěl grafiku, potřeboval dalších 11 disket. Slackware Linux 1.00 byl postaven na Linuxu .99pl11 Alpha, libc 4.4.1, g++ 2.4.5 a XFree86 1.3.

    Ladislav Hagara | Komentářů: 2
    včera 21:22 | IT novinky

    Ministerstvo pro místní rozvoj (MMR) jako první orgán státní správy v Česku spustilo takzvaný „bug bounty“ program pro odhalování bezpečnostních rizik a zranitelných míst ve svých informačních systémech. Za nalezení kritické zranitelnosti nabízí veřejnosti odměnu 1000 eur, v případě vysoké závažnosti je to 500 eur. Program se inspiruje přístupy běžnými v komerčním sektoru nebo ve veřejné sféře v zahraničí.

    Ladislav Hagara | Komentářů: 13
    včera 16:22 | IT novinky

    Vláda dne 16. července 2025 schválila návrh nového jednotného vizuálního stylu státní správy. Vytvořilo jej na základě veřejné soutěže studio Najbrt. Náklady na přípravu návrhu a metodiky činily tři miliony korun. Modernizovaný dvouocasý lev vychází z malého státního znaku. Vizuální styl doprovází originální písmo Czechia Sans.

    Ladislav Hagara | Komentářů: 24
    včera 15:33 | Upozornění

    Vyhledávač DuckDuckGo je podle webu DownDetector od 2:15 SELČ nedostupný. Opět fungovat začal na několik minut zhruba v 15:15. Další služby nesouvisející přímo s vyhledáváním, jako mapyAI asistent jsou dostupné. Pro některé dotazy během výpadku stále funguje zobrazování například textu z Wikipedie.

    bindiff | Komentářů: 8
    včera 13:33 | Bezpečnostní upozornění

    Více než 600 aplikací postavených na PHP frameworku Laravel je zranitelných vůči vzdálenému spuštění libovolného kódu. Útočníci mohou zneužít veřejně uniklé konfigurační klíče APP_KEY (např. z GitHubu). Z více než 260 000 APP_KEY získaných z GitHubu bylo ověřeno, že přes 600 aplikací je zranitelných. Zhruba 63 % úniků pochází z .env souborů, které často obsahují i další citlivé údaje (např. přístupové údaje k databázím nebo cloudovým službám).

    Ladislav Hagara | Komentářů: 5
    včera 00:11 | Nová verze

    Open source modální textový editor Helix, inspirovaný editory Vim, Neovim či Kakoune, byl vydán ve verzi 25.07. Přehled novinek se záznamy terminálových sezení v asciinema v oznámení na webu. Detailně v CHANGELOGu na GitHubu.

    Ladislav Hagara | Komentářů: 0
    15.7. 20:44 | IT novinky

    Americký výrobce čipů Nvidia získal od vlády prezidenta Donalda Trumpa souhlas s prodejem svých pokročilých počítačových čipů používaných k vývoji umělé inteligence (AI) H20 do Číny. Prodej těchto čipů speciálně upravených pro čínský trh by tak mohl být brzy obnoven, uvedla firma na svém blogu. Americká vláda zakázala prodej v dubnu, v době eskalace obchodního sporu mezi oběma zeměmi. Tehdy to zdůvodnila obavami, že by čipy mohla využívat čínská armáda.

    Ladislav Hagara | Komentářů: 10
    15.7. 17:22 | Nová verze

    3D software Blender byl vydán ve verzi 4.5 s prodlouženou podporou. Podrobnosti v poznámkách k vydání. Videopředstavení na YouTube.

    Ladislav Hagara | Komentářů: 0
    Jaký je váš oblíbený skriptovací jazyk?
     (59%)
     (27%)
     (7%)
     (3%)
     (0%)
     (1%)
     (4%)
    Celkem 409 hlasů
     Komentářů: 16, poslední 8.6. 21:05
    Rozcestník

    Dotaz: Log analyzer - textove soubory; hodne; zabalene

    27.5.2021 18:53 Alfonz
    Log analyzer - textove soubory; hodne; zabalene
    Přečteno: 985×
    Ahojte, už nějakou dobu hledám pořádný analyzátor logu (ideálně bude pracovat sám, udržovat index, parsovat).

    Potřeby:

    - Ideálně webové rozhraní (data, log level, hledání,tagy, jednoduchý graf s časovou osou?) - nutná práce s více textovými soubory (prostě pracovní složka, kde budou nabíhat logy) - měl by být schopný pracovat s zabalenými (tar.gz, případně mít možnost načítat specifickým příkazem) - velké soubory (cca 2-3GB za pár hodin, obvykle rozdělené) - mít možnost nastavit hledání (regexp, pro značkování) - nechci měnit současné nastavení výstupů (tzn žádné json, posílání přes nějaké další služby atd) - nechtěl bych něco co je hodně rozsáhlé a zbytečně komplikované

    Zkoušel jsem:

    goacess -> pěkný, rychlý, je schopný otevírat velké soubory dobře, akorát není moc možné přidat další formáty a nastavit jiné metriky; dále nelze nechat ho načítat další soubory s jiným formátem, má ok rozhraní; 2-3 pády pi větších souborech když se nepodaří načíst formát, podařilo se mi vyřešit

    lnav > zřejmě umí zpracovat další formáty, ale často padá u větších množství dat

    Díky za rady.

    Odpovědi

    27.5.2021 19:10 X
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    ELK Stack 50c
    28.5.2021 05:22 alfonz
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    ELK moc nevypadá jako věc co bych zrovna chtěl > je tam spousta částí a neuvěřitelně komplikovaný setup. Je to pouze pro prohlížení logů/správu. Nemělo by to vyžadovat nějak komplikované nastavení kromě regulerniho vyrazu pro parsovani.
    28.5.2021 07:53 MP
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    Podle mne nic rozumneho fungujiciho nad soubory nenajdete - zpracovani logu vzdy nejakou dobu trva. A pokud chcete nejakou operativnost, tak prestante hledat kolo s hranatyma kolama a bezte do log systemu jako ELK, Graylog etc.
    28.5.2021 08:07 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    Ale existujú, veď SIEM sa ponúka aj ako služba.
    28.5.2021 08:45 MP
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    OK, budiz. Ale kdyz se kouknu na https://www.dnsstuff.com/free-siem-tools, tak si budu stat na svem - programy jako goaccess jsou primo mirene na konkretni aplikace, ale pokud ma mit centralni logovani/analyza smysl, tak nic bez databazoveho backendu nema smysl.
    28.5.2021 10:15 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    SIEM dodáva aj známa firma SolarWinds (noflame), a konkrétna implementácia záleží od potrieb a finančných limitov. Je ich dosť, a človek si môže sám aj zložiť konkrétne riešenie podľa svojich predstáv.

    Efektívne vyhľadávanie v logoch zvládne okrem databázy aj napríklad elasticsearch. Jedna z implementácií je naznačená napríklad v úvodnom dieli tu, ale nepoužívam to.
    28.5.2021 11:30 alfonz
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    No to si nemyslím. Právě že např. goaccess pokud by uměl i jiné varianty, tak je v pohodě. Budu muset prozkoumat nové verze. Jinak nevadí mi, že tam bude databáze pro ukládání, jde jen o to, aby to nebylo neúměrné rozsáhlé oproti hlavní službě. Jednoduše řečeno moje hlavní služba je to co je důležité a nesmím na logování a ostatních věcech pak trávit více času než je nutné. Tzn chci co nejméně závislostí v hlavní službě (je na více serverech) a z nich si pak jiná služba pouze vykopíruje data. nesmí tam být žádné další věci. Hlavně jde o bezpečnost/správu/udržitelnost.

    Dále nemyslím si, že hledám kolo s hranatýma kolama ... našel jsem např. zřejmě placený, ale asi dobrý solarwinds papertrail..
    2.10.2021 17:20 alfonz
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    Tak se vracím ke komunikaci. Zkoušel jsem Graylog a logstash a ani jeden rozhodně není ok (spíše naopak). respektive samotné nastavení a rozchození je hodně problematické a třeba graylog vyžaduje spoustu věcí (graylog, filebeat, elasticsearch a mongodb a javu) > to mi nepřipadá, že by mělo být nutné pro analýzu logu, když základní zvládne na 500MB souboru python s mmap a re vcelku rychle.

    Takže jsem znovu zkoušel goaccess a to vypadá stále nejlépe.

    Lnav se mi stále nedaří přimět k tomu aby správně parsoval data a zprávy, vypadá to tak, že je tam nějaká chyba. Pokud se mi to nepodaří rozjet, tak asi zkusím vylepšit goaccess o možnost parsovat i jiné zprávy.

    Jinak se zeptám, co tedy používáte? Možná by mi ani nevadila placená aplikace, pokud bude dobře fungovat. Našel jsem Solarwinds log analyzer ale, to je webové a cloudové.

    Ještě jsem si uvědomil, že mi ani nevadí, když to bude chvíli trvat než se to zpracuje.

    Heron avatar 2.10.2021 20:44 Heron | skóre: 53 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    Většinou vlastní řešení. Záleží, jak je kdo schopnej si něco spíchnout sám. ELK mi nesmí do domu, v idle a bez dat to startuje 4minuty a vezme si to 6GB RAM. Vlastní analýza logů naivně řádek po řádku je mnohem rychlejší a s mnohem menšími prostředky. Data uložit někam, kde se s nimi bude dobře pracovat a dát si velký pozor na náročnost mazání starých dat - tj třeba dát to do psql, mít tam miliardu záznamů za měsíc a od konce je po jednom odmazávat není zrovna dobrý nápad; je nutné to shardovat a mazat celé tabulky (třeba po dnech). (A na toto je potřeba myslet předem.) Záleží, co má být cílem a k čemu ty logy mají sloužit. Já vždy jedu vlastní řešení. V table je timestamp, kompletní řádek logu a v dalších sloupcích potom vybraná data z daného řádku (nemusí tam být všechno a navíc tom může být nějak předzpracované). Z toho potom nějaké statistické tabulky (hodinové průměry apod.).
    3.10.2021 08:13 alfonz
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    Jo tako jsem ELK kvůli tomu dal pryč > přišlo mi, že jsem vlastně jen nastavoval, abych pak zjistil, že to nepoužitelné. Respektive není možné, aby analýza logu byla více náročná než samotná aplikace co je klíčová.

    Právě jsem si mysle, že existují nějaké jednoduché tooly na, ale vypadá, to že bohužel ne.
    3.10.2021 09:52 elenril
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    Mám podobné zkušenosti. Můj problém byl mírně jiný - chtěl jsem agregovat logy z vícero strojů, které by pak nějaký nástroj automaticky četl a posílal mi notifikace, že se někde stalo něco zajímavého. Zatím jsem skončil u OSSEC, ale nejsem zcela spokojený - je to takové neprůhledné a málo flexibilní. Až budu mít čas, tak si chci napsat něco vlastního.
    4.10.2021 05:41 alfonz
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    Já mám nyní podobné použití. Logy ze strojů ukládám jako soubory a ukládám na úložiště. Vyčítám pouze klíčová data nyní. Chtěl jsem, ale procházet vše a ideálně získat i nějaké info a problematickém stavu. Nemuselo to být okamžitě. Ale vypadá to, že stále zůstanu u notepadqq, lnav a pythonu.

    Opravdu nechápu, jak je možné že všechny ty programy (graylog, logstash,filebeat,kibana,elasticsearch apod) jsou tak podivně postavené a všichni jsou z toho nadšeni. Přijde mi, že vlastně nic neřeší.
    4.10.2021 09:30 MP
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    Jestli to nebude tim, ze mate predstavy ohledne zpracovani logu jako delat si tabulky a vypocty v notepadu vs excel. ELK je mocny nastroj a rozhodne umi hodne veci.

    Napr. resi ten vas python spravu uzivatelu/acl? resi zivotnost logu, ukladani dat, skalovani pres vice serveru, triggery, tabulky, dynamicke zmeny? Zvladne ten vas python stovky giga, desitky tera dat?
    4.10.2021 17:06 Alfonz
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    Pokud by ELK bylo jako excel, tak budu spokojený. Myslím, že tak to však není. Excel zvládne používat rychle a úspěšně spousta lidí, něco jako goaccess. Ale ELK takto nefunguje.

    Jinak, jak jsem psal, já nechtěl python, chci něco jako goaccess ale s více možnostmi (více formátů) a to tam bohužel nejde. Co se týče pythonu, tak bez problémů to zvládá z více serverů, jelikož to tak mám a zatím všechno množství, co jsem předhodil to zvládá. životnost to neřeší a ukládání pouze jako zip. Triggery/tabulky taky ne. Jinak stovky giga ano. V tuto chvíli mám přes 50GB zabalených logů tedy asi přes 300-400GB. Mám to nyní pouze ondemand.

    Avšak i na jiných uživatelích výše vidíte, že by takovouto aplikaci chtěli a že nechtějí ELK, takže si nemyslím, že bych měl úplně přehnané požadavky. A pokud mám, tak bohužel.
    9.10.2021 09:23 Alfonz
    Rozbalit Rozbalit vše Re: Log analyzer - textove soubory; hodne; zabalene
    Tak jsem znovu zkoušel graylog > docker verzi a opravdu to není pro mě, chybí tam stále to načtení těch souborů a to zatížení systému je fakt enormní (není možné to nasadit na hloupý malý nas s 128 MB pro kontejner. Takže jsem dal okno znovu Goaccess a LNAV. Goaccess mábohužel stále ten problém s přizpůsobivostí, takže jsem ho nechal. Ale Lnav se nakonec ukazuje a si jako cesta( jediný problém je rozhraní, škoda že tam není nějaký html export). Lnav umí nejenže zřejmě více formátů v souboru, ale i takzvaný globální formát, který umí data dolovat a i ukládádat do csv/sqlite a rovnou i zpracovat přes sqlite. Takže asi vezmu toto.

    Chtěl jsem se zeptat, zda by někdo se nechtěl do budoucna spojit a zkusit dát dohromady např. řešení nad lnav pro analýzu logů, nebo se připojit do vývoje lnavu a řešit webové rozhraní.

    Takže děkuji za info od ostatních. Díky.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.