abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 14:22 | IT novinky

    V Lucemburku byly oznámeny výsledky posledního kola výzev na evropské továrny pro umělou inteligenci neboli AI Factories. Mezi úspěšné žadatele patří i Česká republika, potažmo konsorcium šesti partnerů vedené VŠB – Technickou univerzitou Ostrava. V rámci Czech AI Factory (CZAI), jak se česká AI továrna jmenuje, bude pořízen velmi výkonný superpočítač pro AI výpočty a vznikne balíček služeb poskytovaný odborníky konsorcia. Obojí bude sloužit malým a středním podnikům, průmyslu i institucím veřejného a výzkumného sektoru.

    Ladislav Hagara | Komentářů: 4
    dnes 01:22 | Nová verze

    Byla vydána (𝕏) zářijová aktualizace aneb nová verze 1.105 editoru zdrojových kódů Visual Studio Code (Wikipedie). Přehled novinek i s náhledy a videi v poznámkách k vydání. Ve verzi 1.105 vyjde také VSCodium, tj. komunitní sestavení Visual Studia Code bez telemetrie a licenčních podmínek Microsoftu.

    Ladislav Hagara | Komentářů: 0
    včera 15:33 | Komunita

    Ve Firefoxu bude lepší správa profilů (oddělené nastavení domovské stránky, nastavení lišt, instalace rozšíření, uložení hesla, přidání záložky atd.). Nový grafický správce profilů bude postupně zaváděn od 14.října.

    Ladislav Hagara | Komentářů: 0
    včera 12:44 | Nová verze

    Canonical vydal (email) Ubuntu 25.10 Questing Quokka. Přehled novinek v poznámkách k vydání. Jedná se o průběžné vydání s podporou 9 měsíců, tj. do července 2026.

    Ladislav Hagara | Komentářů: 0
    včera 12:22 | Nová verze

    ClamAV (Wikipedie), tj. multiplatformní antivirový engine s otevřeným zdrojovým kódem pro detekci trojských koní, virů, malwaru a dalších škodlivých hrozeb, byl vydán ve verzi 1.5.0.

    Ladislav Hagara | Komentářů: 0
    včera 01:22 | Nová verze

    Byla vydána nová verze 1.12.0 dynamického programovacího jazyka Julia (Wikipedie) určeného zejména pro vědecké výpočty. Přehled novinek v příspěvku na blogu a v poznámkách k vydání. Aktualizována byla také dokumentace.

    Ladislav Hagara | Komentářů: 0
    8.10. 15:11 | Bezpečnostní upozornění

    V Redisu byla nalezena a v upstreamu již opravena kritická zranitelnost CVE-2025-49844 s CVSS 10.0 (RCE, vzdálené spouštění kódu).

    Ladislav Hagara | Komentářů: 5
    8.10. 14:00 | IT novinky

    Ministr a vicepremiér pro digitalizaci Marian Jurečka dnes oznámil, že přijme rezignaci ředitele Digitální a informační agentury Martina Mesršmída, a to k 23. říjnu 2025. Mesršmíd nabídl svou funkci během minulého víkendu, kdy se DIA potýkala s problémy eDokladů, které některým občanům znepříjemnily využití možnosti prokázat se digitální občankou u volebních komisí při volbách do Poslanecké sněmovny.

    Ladislav Hagara | Komentářů: 19
    8.10. 12:33 | Zajímavý software

    Společnost Meta představila OpenZL. Jedná se o open source framework pro kompresi dat s ohledem na jejich formát. Zdrojové kódy jsou k dispozici na GitHubu.

    Ladislav Hagara | Komentářů: 0
    8.10. 03:33 | IT novinky

    Google postupně zpřístupňuje českým uživatelům Režim AI (AI Mode), tj. nový režim vyhledávání založený na umělé inteligenci. Režim AI nabízí pokročilé uvažování, multimodalitu a možnost prozkoumat jakékoliv téma do hloubky pomocí dodatečných dotazů a užitečných odkazů na weby.

    Ladislav Hagara | Komentářů: 0
    Jaké řešení používáte k vývoji / práci?
     (38%)
     (46%)
     (15%)
     (17%)
     (21%)
     (15%)
     (17%)
     (15%)
     (15%)
    Celkem 204 hlasů
     Komentářů: 13, poslední 8.10. 07:41
    Rozcestník

    Dotaz: Efektivní parsování logu

    13.9.2019 10:42 Jirka
    Efektivní parsování logu
    Přečteno: 617×
    Dobrý den.
    Hledám možnost, jakou bych efektivně mohl parsovat logy za nějaké konkrétní časové období.
    Existuje nějaký "jednoduchý" způsob, jak z logu vysypat všechno, např. ze dne 01.09.2019 v čase 09:00 - 10:15 ?

    Vzorový řádek z logu
    194.xxx.17x.yyy - - [13/Sep/2019:09:51:27 +0200] "GET /nejaky-obsah-bla-bla-bla/ HTTP/2.0" 301 275 "https://www.domena.cz/nejaky-obsah-bla-bla-bla" "Mozilla/5.0 (Linux; Android 6.0.1; Redmi 3S Build/MMB29M; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.132 Mobile Safari/537.36 [FB_IAB/FB4A;FBAV/238.0.0.41.116;]"

    Děkuji.

    Odpovědi

    13.9.2019 11:17 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Efektivní parsování logu
    Pre tento typ prípadu je ideál to mať v DB, a dáta vyťahovať selectom.
    13.9.2019 11:22 Jirka
    Rozbalit Rozbalit vše Re: Efektivní parsování logu
    Že bych jako syslog nebo nginx logy ukládal do DB ?
    ...to fakt ne ;-)


    Děkuji.
    13.9.2019 12:42 rich
    Rozbalit Rozbalit vše Re: Efektivní parsování logu
    Ale moznost to je...
    https://www.rsyslog.com/doc/v8-stable/tutorials/database.html
    Jinak opravdu "jednoduchy" zpusob je awk, grep atd.
    13.9.2019 13:24 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Efektivní parsování logu
    Problém je ale ako potom zložiť dopyt typu SELECT blah FROM SystemEvents WHERE FromHost=:hostname AND DeviceReportedTime between "...:..." AND "...:..." .
    13.9.2019 23:41 Miloslav Ponkrác
    Rozbalit Rozbalit vše Re: Efektivní parsování logu
    Na některých pomalejších strojích, kde je málo požadavků mám log v databázi, a nemohu si to vynachválit.

    Je rozložen do několika tabulek, aby to bylo kratší.

    Například je tabulka hodnot UserStringů a v logu je jenom id. Po několika letech provozu mám asi 1000 různých UserStringů a už to nepřibývá. Log je díky tomu velice malý.

    Tam kde to lítá, je samozřejmě log v databázi skoro nesmysl.
    13.9.2019 11:31 Ivan
    Rozbalit Rozbalit vše Re: Efektivní parsování logu
    Tohle dela Splunk anebo ELK. Tezko rict jak "jednoduchy" je takovy tool zacit pouzivat.

    wamba avatar 13.9.2019 13:52 wamba | skóre: 38 | blog: wamba
    Rozbalit Rozbalit vše Re: Efektivní parsování logu

    Vždycky si můžeš napsat script v nějakým jazyce. Např. v Perlu 6

    use v6.c;
    constant %months = %(<Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec> Z=> 1..12);
    
    sub tag-by-DateTime ($log-line) {
        $log-line
        andthen .match: rx{
            '[' $<day>= \d **2
            '/' $<month-string>= \w **3
            '/' $<year>= \d **4
            ':' $<hour>= \d **2
            ':' $<minute>= \d **2
            ':' $<sec>= \d **2
            ' '<[+-]> \d ** 4
            ']'
        }
        andthen %(.hash, "month" => %months{$<month-string>})
        andthen DateTime.new: |$_
    }
    
    sub MAIN (
        :$file = '/var/log/httpd/access_log',
        :$from = DateTime.now.earlier(:1day).Str,
        :$to   = DateTime.now.Str,
    ) {
        my @log = lines $file.IO;
    
        @log
        andthen .map: {tag-by-DateTime($_) => $_}\
        andthen .grep: {.key ~~ DateTime.new($from) .. DateTime.new($to)}\
        andthen .map: *.value.put
    }
    
    a pak
    perl6 ./read-log-by-date-abc.p6 -file=/var/log/httpd/access_log  -from=2016-08-21T12:50:00 -to=2016-08-21T13:37:00
    

    Pár poznámek:

    • je to napsáno jen tak narychlo,
    • nejvíce kódu zabírá parsování data a času je lepší si najít knihovnu, která to udělá za tebe. (tz ignoruji)
    • nepředpokládá, že řádky jsou seřazeny podle data, tedy na velkých souborech to bude zbytečně pomalé.
    • například následující: :$to = DateTime.now.Str, je hodně neelegantní atp.
    This would have been so hard to fix when you don't know that there is in fact an easy fix.
    13.9.2019 14:48 OldFrog {Ondra Nemecek} | skóre: 36 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Efektivní parsování logu
    Pokud používáte systemd, tak něco umí journalctl:
    journalctl --since= --until= ...
    
    To logování do databáze taky nemusí být špatný nápad, jsou i specializované řešení pro tento účel.
    -- OldFrog
    13.9.2019 23:37 Miloslav Ponkrác
    Rozbalit Rozbalit vše Re: Efektivní parsování logu
    Program nebo skript, který by provedl požadované bych napsal za pár minut. Rozhodně rychlejší než hledat nějaký nástroj.

    Možná bych si to během programování předvysypal grepem na řetězec [01/Jun/2019:
    14.9.2019 13:04 Kit | skóre: 46 | Brno
    Rozbalit Rozbalit vše Re: Efektivní parsování logu
    Pro tyto účely používám AWK. Umí filtrovat a parsovat vstup i formátovat výstup. Když je třeba, zvládne porovnat záznamy mezi sebou i agregovat data.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    14.9.2019 15:51 MP
    Rozbalit Rozbalit vše Re: Efektivní parsování logu
    Graylog + logy v jsonu a na nejaky awk apod si ani nevzpomenete pro bezne pouziti.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.