Dotaz: Komprimace logu

[iKoulee]

Potreboval bych trochu nakopnout (mozna spravna klicova slova do google).

Loguju do souboru ktere se jmenuji /cesta/nazev.YYYYMMDD.log rad bych vice-mene klasicky rotoval, tzn.

dnes-x => komprimace

dnes-y => odstranit

Nabouchat neco v BASHi urcite neni problem, jen me prijde divne, ze bych byl prvni kdo to resi, takze neco podobneho musi existovat a nechci objevovat kolo.

Odpovědi

[trubicoid]

treba logrotate to umi:

http://www.thegeekstuff.com/2010/07/logrotate-examples/ bod 4.

[Petr Šobáň]

man logrotate

Stačí? A nebo co přesně potřebujete? Stačí nainstalovat, nakonfigurovat a je to.....

[iKoulee]

Asi jsem uplne blbej a bud neumim psat a nebo cist

mam soubory

neco.20120624.log
neco.20120623.log
neco.20120622.log
neco.20120621.log
neco.20120620.log
neco.20120619.log
...

a rad bych aby z nich vznikalo treba toto:

neco.20120624.log
neco.20120623.log
neco.20120622.log
neco.20120621.log.gz
neco.20120620.log.gz
neco.20120619.log.gz
...

Logrotate samozrejme znam, jen jsem po precteni manualu nejak neprisel na to jak ho donutit tohle tvorit, protoze on nema moznost jak rozeznavat neco ze jmena. V podstate principem je, ze pokud budu chtiti kouknout do log souboru napr. z 23. unora 2012, pricemz mam historii nastavenou na 365 dni, tak proste kouknu do souboru neco.20120223.log.gz a neni potreba odpocitavat kolik dni je to do historie. Tohle se mi v konfiguraci logrotate vymyslet nepodarilo, alespon z toho co jsem si precetl v manualove strance.

[trubicoid]

nu a bod 5. v tom mym linku?

[Petr Šobáň]

Necháte rotovat pouze dva soubory, na druhý provedete kompresi delaycompress, no a po dokončení spustíte skript v sekci postrotate který soubor neco.log.2.gz přejmenuje na neco.datum.log.gz.

[rADOn]

/cesta/neco {
    daily
    dateext
    compress
    missingok
}

(NOTE: logrotate je staletimi proverenej kousek softu, pokud neumi to co potrebujes, tak ses bud blbe dival nebo to zase tak moc nepotrebujes

[iKoulee]

no jak o tom tak premyslim vypada to na situaci podle vzoru B, jenze ja jsem tvrdohlavy

asi se vice rozepisu pracuju na sitovem logovani skrze syslog-ng, PE verze umi komprimovat pri zapisu, coz je vec ktera mi u OSE tak trochu schazi no a protoze logy polezou skrz sit, navic nektere i pomerne daleko (jak geograficky, tak na pocet hopu), takze na serveru se hlasky zarazuji do souboru podle casu zalogovani. Pokud to budu cpat do nejakeho souboru neco.log a prejmenovani nechal na logrotate muze se stat, ze nektere zpravy budou ulozene ve spatnem souboru, a to je vec ktere bych se rad vyhnul.

Bohuzel ale dostavam pocit ze si nekde sedim na vedeni, protoze je velice zvlastni, ze bych mel podobny problem jen ja.

[rADOn]

To je přesně to co jsem měl na mysli tím že to "zase tak moc nepotřebuješ". Pokud to má být k něčemu, tak musí syslog sám psát do YYMMDD souboru, čili logrotaci vůbec nepotřebuješ. Nový soubor vznikne prostě tím že přijde zpráva. Pokud to tvůj syslog neumí, tak simulace logrotatem to nespraví. Protože nemůžeš spoléhat že přepnutí nastane na vteřinu přesně, stejně tam bude chvíle mezi rotací a otočením syslogu kdy to bude padat mimo.

BTW Zařazování podle timestampu zprávy je IMO nebezpečné protože když bude čas na zdrojové mašině špatně, tak zprávu ztratíš do špatného logu. A zprávy z mašin s nestejným časem budou pomíchané. V praxi když ti poběží synchronizace času tak se nerozjedou o víc než pár sekund, ale okno při rotaci taky není velké, takže se na to můžeš vybodnout, nacronovat logrataci na půlnoc a holt počítat že na konci logu je pár sekund z dalšího dne. Jako asi milion uživatelů logrotate před tebou . Když už něco takového chci přesně, tak postprocesingem na odrotovaném logu. (sort má dokonce parametr na spojování seřazených souborů)

[cronin]

... protože když bude čas na zdrojové mašině špatně, tak ...

Zažil som jednu viacvrstvovú enterprise aplikáciu, kde jednotlivé vrstvy bežali na oddelených strojoch, ktoré nemali synchronizovaný čas. Poviem vám, bolo to zúfalstvo analyzovať problém, keď v logoch následok o niekoľko minút predbiehal príčinu.