Efektivní parsování logu

Dobrý den.
Hledám možnost, jakou bych efektivně mohl parsovat logy za nějaké konkrétní časové období.
Existuje nějaký "jednoduchý" způsob, jak z logu vysypat všechno, např. ze dne 01.09.2019 v čase 09:00 - 10:15 ?

Vzorový řádek z logu

194.xxx.17x.yyy - - [13/Sep/2019:09:51:27 +0200] "GET /nejaky-obsah-bla-bla-bla/ HTTP/2.0" 301 275 "https://www.domena.cz/nejaky-obsah-bla-bla-bla" "Mozilla/5.0 (Linux; Android 6.0.1; Redmi 3S Build/MMB29M; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.132 Mobile Safari/537.36 [FB_IAB/FB4A;FBAV/238.0.0.41.116;]"

Děkuji.

Odpovědi

Pre tento typ prípadu je ideál to mať v DB, a dáta vyťahovať selectom.

13.9.2019 11:22 Jirka
Rozbalit Rozbalit vše Re: Efektivní parsování logu

Že bych jako syslog nebo nginx logy ukládal do DB ?
...to fakt ne ;-)

Děkuji.

13.9.2019 12:42 rich
Rozbalit Rozbalit vše Re: Efektivní parsování logu

Ale moznost to je...
https://www.rsyslog.com/doc/v8-stable/tutorials/database.html
Jinak opravdu "jednoduchy" zpusob je awk, grep atd.

13.9.2019 13:24 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: Efektivní parsování logu

Problém je ale ako potom zložiť dopyt typu SELECT blah FROM SystemEvents WHERE FromHost=:hostname AND DeviceReportedTime between "...:..." AND "...:..." .

13.9.2019 23:41 Miloslav Ponkrác
Rozbalit Rozbalit vše Re: Efektivní parsování logu

Na některých pomalejších strojích, kde je málo požadavků mám log v databázi, a nemohu si to vynachválit.

Je rozložen do několika tabulek, aby to bylo kratší.

Například je tabulka hodnot UserStringů a v logu je jenom id. Po několika letech provozu mám asi 1000 různých UserStringů a už to nepřibývá. Log je díky tomu velice malý.

Tam kde to lítá, je samozřejmě log v databázi skoro nesmysl.

Vždycky si můžeš napsat script v nějakým jazyce. Např. v Perlu 6

use v6.c;
constant %months = %(<Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec> Z=> 1..12);

sub tag-by-DateTime ($log-line) {
    $log-line
    andthen .match: rx{
        '[' $<day>= \d **2
        '/' $<month-string>= \w **3
        '/' $<year>= \d **4
        ':' $<hour>= \d **2
        ':' $<minute>= \d **2
        ':' $<sec>= \d **2
        ' '<[+-]> \d ** 4
        ']'
    }
    andthen %(.hash, "month" => %months{$<month-string>})
    andthen DateTime.new: |$_
}

sub MAIN (
    :$file = '/var/log/httpd/access_log',
    :$from = DateTime.now.earlier(:1day).Str,
    :$to   = DateTime.now.Str,
) {
    my @log = lines $file.IO;

    @log
    andthen .map: {tag-by-DateTime($_) => $_}\
    andthen .grep: {.key ~~ DateTime.new($from) .. DateTime.new($to)}\
    andthen .map: *.value.put
}

a pak

perl6 ./read-log-by-date-abc.p6 -file=/var/log/httpd/access_log  -from=2016-08-21T12:50:00 -to=2016-08-21T13:37:00

Pár poznámek:

je to napsáno jen tak narychlo,
nejvíce kódu zabírá parsování data a času je lepší si najít knihovnu, která to udělá za tebe. (tz ignoruji)
nepředpokládá, že řádky jsou seřazeny podle data, tedy na velkých souborech to bude zbytečně pomalé.
například následující: :$to = DateTime.now.Str, je hodně neelegantní atp.

This would have been so hard to fix when you don't know that there is in fact an easy fix.

Dotaz: Efektivní parsování logu

Odpovědi