Hlídání logu v Pythonu a Qt5

7.11.2023 12:30 | Přečteno: 1013× | linux

Hledal jsem možnost, jak sledovat logy, kreré vytváří python přes logger logging. Programy tail, more a všechny ostatní metody nesplňovaly moje požadavky ( nebo neumím číst man a google ).

Moje bádání v tomto směru bylo ukončeno rozhodnutím udělat takový program v Pythonu. Cesta (pro mně) síce zdlouhavější, zato však inspirativní.

(doufám, že se tady dozvím, že i zbytečná, protože tohle už přece dávno existuje a všichni to dobře vědí... kromě mně, tedy.)

Program jsem psal Pythonu + pySide2. Je jednoúčelový, hlídá jen jeden log, jednoho typu, ale plně funguje a navíc logy obarvuje. Ještě mě napadá dodělat pořádně otevírání souborů a barvení ANSI sekvencí, tak možná později, až na to bude čas...

Přikládám kód: Pro znovuotevření jiného souboru jsem plánoval odpojit a znovu připojit signál fileChanged (aby se nezdvojoval), ale nepovedlo se mi najít správnou kombinaci pro fuknci receivers .. nějak nevím čím ji nakrmit, no vyřešil jsem to jinak.

#! /usr/bin/python3
# This Python file uses the following encoding: utf-8
import sys
import os


from PySide2.QtWidgets import QApplication, QMainWindow
from PySide2.QtCore import QFile, Slot, Signal, SIGNAL, QFileSystemWatcher
from PySide2.QtUiTools import QUiLoader


class Reader(QMainWindow):
    def __init__(self):
        super(Reader, self).__init__()
        self.load_ui()
        self.fwatcher = QFileSystemWatcher()
        self.fwatcher.fileChanged.connect(self.fileWasChanged)

    def load_ui(self):
        loader = QUiLoader()
        path = os.path.join(os.path.dirname(__file__), "form.ui")
        ui_file = QFile(path)
        ui_file.open(QFile.ReadOnly)
        self.ui = loader.load(ui_file)
        ui_file.close()
        self.ui.action_Open_file.triggered.connect(self.readFile)
        self.ui.show()

    @Slot()
    def readFile(self):
# noConnection = self.fwatcher.receivers("filechanged")
        watchedFiles = self.fwatcher.files()
        if watchedFiles:
            self.fwatcher.removePaths(watchedFiles)
        self.fname = "/home/blabla/muj.log"
        self.fwatcher.addPath(self.fname)
        self.fillBrowser()

    def fillBrowser(self):
        content = ""
        with open(self.fname, "r") as fh:
            while True:
                line = fh.readline()
                if not line:
                    break
                line = self.loggerConvert(line)
                content += line
        self.ui.textBrowser.setHtml(content)

    @Slot(str)
    def fileWasChanged(self, path):
        self.fillBrowser()

    def loggerConvert(self, line):
        line = line.replace("NOTSET", '<font color="gray>NOTSET</font>')
        line = line.replace("DEBUG", '<font color="blue">DEBUG</font>')
        line = line.replace("INFO", '\
            <font color="green">INFO</font>')
        line = line.replace("WARNING", '<font color="orange">WARNING</font>')
        line = line.replace("ERROR", '<font color="red">ERROR</font>')
        line = line.replace("CRITICAL", '<span style="background-color:red"><font color="white"b>\
            CRITICAL</font></span>')
        line = line.replace("DEBUG", '<font color="blue">DEBUG</font>')
        line = line + "
"
        return line



if __name__ == "__main__":
    app = QApplication([])
    widget = Reader()
    # widget.ui.show()
    sys.exit(app.exec_())

Log vzniká pomocí modulu logging :

import logging
...
...
    logging.basicConfig(
            filename=logFilename,
            format="%(asctime)s [%(levelname)s] %(module)s: %(lineno)d\
            %(funcName)s:  %(message)s",
            level=logging.DEBUG,
            datefmt='%d %H:%M:%S',
            filemode="w"
            )

 

       

Komentáře

[tttttttttttttt]

A jaké jsou tvé požadavky?

[Milan Uhrák]

Hlídat soubor třeba logu. Listovat v něm. Log se obnovuje, takže hlídat znovuvytvoření logu. Barevný výstup je jen šidítko, nemusí umět ( ale při ANSI by to asi vadilo). Less umí listovat, neumí hlídat znovuvytvoření. tail pěkně hlídá znovuvytvoření, neumí listovat.

Můj prográmek mě naučil zase něco nového z Qt, a dělá všechno tak, jak potřebuju. A ještě mi dělá barvičky :)

[RealJ]

Libi se mi, ze jsi se neco naucil a ze mas tool ktery dela presne to co chces.

[Milan Uhrák]

Jako bych slyšel ironii ... ale máš pravdu ... 

[Tom]

Bez ironie, proč QT a ne Electron ?

[Milan Uhrák]

Tak v pySide jsem už pár věcí spíchl, trochu Qt znám, a plasma je můj velmi oblíbený desktop. Qt je taky multiplatformní, takže proč se učit kvůli malému nástroji nový jazyk a přístup.

[RealJ]

Bylo to mysleno bez ironie. Sice mi nedava smysl to co s tim delas ale chapu ze kazdy mame jine potreby. A ze se neco naucis je fajn, nebudes za blbce.

[Milan Uhrák]

:).. ok, beru

[tttttt]

Co tailspin? Mezi listováním a sledováním jde přepínat, znovuvytvoření myslím dělá stejně jako tail.

[±]

Umi tailspin i strankovani? (jako more, less)

[OldFrog {Ondra Nemecek}]

Ano, pomocí page-up / page-down.

[Martin Tůma]

less --follow-name

[Milan Uhrák]

No ... vidíš, říkal jsem, že man nečtu pořádně .. děkuji , Vyzkoušel jsem a je to to, co jsem víceméně chtěl ... tuhle volbu jsem asi v beznaději přeskočil ...

M

[OldFrog {Ondra Nemecek}]

K danému účelu používám (mimo tail -f) program https://klogg.filimonov.dev anebo https://glogg.bonnefon.org/index.html

[Milan Uhrák]

Ten klogg je fakt dobrej .. ještě se mi teda nepovedlo stáhnout verzi pro můj obstarožní Debian 11, ale podle popisu supr.

[OldFrog {Ondra Nemecek}]

Jj, používá se fakt příjemně. Já ho stáhnul jako AppImage:

https://github.com/variar/klogg/releases/tag/continuous-linux

[prt]

Programy tail, more a všechny ostatní metody nesplňovaly moje požadavky ( nebo neumím číst man a google ).

Nebýval kdysi tohle portál pro fanoušky linuxu?

[.:.:.]

Linux nikdy nemel fanousky. Jenom trpici otroky svazane temnou GPL licenci.

[kvr]

V zásadě pěkné.

Možná by stálo za to nečíst celý soubor znovu. Na malém logu to je v pohodě, ale pokud něco zapisuje každou chvilku, tak to může docela zahltit a taky budou refresh okna asi dost nepohodlné. Nevím, jestli file watcher reportuje každý zápis nebo jich dá několik dohromady, v prvním případě by to chtělo ignorovat všechno předtím, než se soubor začal načítat.

Konverze do HTML by měla obsahovat escaping. Replace by mohl být na word boundary, záleží, co je cílem. A pro debugging by nebylo špatné přidat za br textový new line

[Bystroushaak]

Dá se to řešit přes inotify nebo pokud na tom člověk nechce záviset, tak nějak takhle:

import os
import time


class TailFIterator:
    """
    Text file iterator, which yields new lines added to the file, like
    tail -F. It can detect when the file descriptor was changed (logrotated) or
    the file was truncated (also used by logrotate).

    You can overload:
        .on_file_not_found()
            To change behaviour when the file was followed, but was deleted
            in the process (logrotated). Standard behaviour is to wait 5 seconds,
            try again forever. See also .file_not_found_counter for details.

        .on_no_changes_detected()
            To decide what to do when no change was detected. Default is to
            wait 1s.
    """
    def __init__(self, file_path: str, file_mode: str = "rt"):
        self.file_size = 0
        self.file_path = file_path
        self.file_mode = file_mode

        self.inode_number = os.stat(file_path).st_ino
        self.logfile = open(file_path, self.file_mode)

        self.file_not_found_counter = 0

    def __iter__(self):
        while True:
            try:
                size = self._get_current_size()
                self.file_not_found_counter = 0
            except FileNotFoundError as e:
                self.file_not_found_counter += 1
                self.on_file_not_found(self.file_not_found_counter, e)
                continue

            if size > self.file_size:
                self.logfile.seek(self.file_size)
                for line in self.logfile:
                    yield line
                self.file_size = self.logfile.tell()

            # in case the .truncate() was called
            elif size < self.file_size:
                self._check_and_handle_logrotate()
                self.file_size = 0
                continue

            if self._check_and_handle_logrotate():
                continue

            self.on_no_changes_detected()

    def _get_current_size(self) -> int:
        return os.stat(self.file_path).st_size

    def _check_and_handle_logrotate(self) -> bool:
        current_file_info = os.stat(self.file_path)
        current_inode_number = current_file_info.st_ino
        if current_inode_number != self.inode_number:
            self.inode_number = current_file_info.st_ino
            self.logfile = open(self.file_path, self.file_mode)
            self.file_size = 0

            return True

    def on_file_not_found(self, file_not_found_counter: int, exception):
        if file_not_found_counter > 5:
            raise exception
        time.sleep(5)

    def on_no_changes_detected(self):
        time.sleep(1)

(Psal jsem kdysi pro jeden starší projekt co běžel někde kam jsem nechtěl tahat závislosti).

[kvr]

Ten QFileSystemWatcher už používá inotify (nebo cokoliv relevantního na daném OS) : https://github.com/radekp/qt/blob/master/src/corelib/io/qfilesystemwatcher_inotify_p.h

Jo, aktivním čekáním se to dá taky, docela zastaralý způsob . Za starých časů jsem psal něco podobného pro PHP a používalo to externí inotify. Dneska už zbytečné, každý jazyk to podoporuje.

[Bystroushaak]

Jo, čistější by bylo hodit si select na fd, ale tohle mělo svůj důvod :)

[kvr]

select na soubor by nefungoval, bo data jsou přístupná pořád, i když potenciálně jako prázdný read. inotify nebo aktivní kontroly jsou jediný způsob.

[Milan Uhrák]

Váš návrh není špatný ale protože to klepu v Qt, (a ještě jsem nevěděl o FileWatcheru), tak jsem to hlídání řešil původně přes QTime. Ale jinak dobrá ukázka, jak řešit problém minimalisticky (co se týče závislostí ) díky

M

[Milan Uhrák]

Pár dní jsem byl na druhém konci světa, už jsem si myslel, že téma uvadlo, a hle, takový gejzír.

Váš komentář (a také "ukázky z cizí dílny" jako odpověď na ten komentář ) je velmi přínosný. Se znovunačítáním jsem si nedělal hlavu, ale vlastně vidím, že stačí načíst jen "nový kus" toho logu, je přece blbost načítat celý soubor pořád dokola ...

Tomu word boundary asi nerozumím, v Pythonu něco takového je? Hledal jsem, ale našel jen regexy, což mi moc přínosné nepřipadá, nebo neumím hledat, nebo jste myslel to INFO,DEBUG ... obklíčit mezerami...

Konverze do HTML by měla obsahovat escaping ... přemýšlím, co jste tím chtěl říci ... jako místo hranatých závorek použít ecsape kódy jako tady na ABC ? Nevím ... možná je to dobrý nápad, ale jen nechápu, co jste tím vlastně myslel ...

A ten textový newline ... to máte plnou pravdu.. myslel jsem, že při načítání souboru je součástí řetězce, a uloží se do textVieweru, a ejhle ...

Děkuji za fakt šikovné podněty ... I komentátorům vašeho příspěvku... Zvlášť Jenda musel prohrabávat staré (.. co - prastaré) archivy, aby našel prastarý kód ( i když podle syntaxe možná zase tak prastarý není, ale stejně) ... fakt dík :)

M

[Milan Uhrák]

Tedy ... Liška Bysrouška, ne Jenda, pardon ..

[Bystroushaak]

Děkuji za fakt šikovné podněty ... I komentátorům vašeho příspěvku... Zvlášť Jenda musel prohrabávat staré (.. co - prastaré) archivy, aby našel prastarý kód ( i když podle syntaxe možná zase tak prastarý není, ale stejně) ... fakt dík :)

Je to několik let staré, prohledávat jsem nemusel, mám v notionu složku se snippety kam si házím použitelné věci a různé ukázky.

[Milan Uhrák]

hmm .. máš to vykoumané ...

Odkládám tak maximálně do nextcloudu ... občas ...

Už jsem si říkal, jestli nemáš konečně nějaké napojení desktopu na GPT .. jak jsi onehdá snil ... no počkáme ... a snad se dožijem

[Bystroushaak]

Chci se k tomu dostat o vánocích, měl bych mít asi 14 dní dovolené. Nedávno jsem koukal že openAI zpřístupnilo asistenty, se kterýma se dá dobře pracovat přes API, dají se pro ně definovat různé funkce které pak můžou volat a taky umí pracovat s (až) 512M soubory. Zkoušel jsem to předevčírem na vyhledávání v PDF a funguje to dost dobře*. Co chci vyzkoušet je jak moc se dají použít i mimo vyhledávání, z toho co jsem zatím viděl, tak to v tom sandboxu i může vyrábět soubory, takže by to mělo být použitelné i pro věci jako generování a transformace (třeba tam nahraješ blog, řekneš mu ať ti ho přeloží do jiného jazyka, a on vyplivne rovnou soubor s překladem).

*Různé abstraktní dotazy, typu najdi mi kde v knize se mluví o tomhle a tomhle, nebo kde všude se řeší tohle téma.

[Milan Uhrák]

Tak přeju, ať se zadaří... Tohle moc neznám, tudíž jen závistivé koukám ..

[kvr]

\b(ERROR|INFO|WARN)\b

Výhoda je, že to nebude matchovat třeba information nebo terror.

Escape HTML - například <1> by se měla změnit na &lt;1&gt; , jinak to může být hezký námět nat code injection

S těmi newline a načítáním nového souboru - bude tam nějaká komplexita navíc, neboť match či přidání nového řádku by se mělo dít jenom v případech, kdy se dokončilo načtení aspoň jednoho řádku. To jenom detail, když už to tak komplikuju.

[Milan Uhrák]

Děkuji za dovysvětleni ...

Jelikož ten můj log ( ale zase by ten prográmek měl být trošku univerzální, tak nevím ) má [ERROR], hodím tam i hranaté jako možnost. Donačítání souboru už funguje, pokud je nový soubor menší než předtím, vypíše se i hláška o resetování ... to donačítání je výkonově perfektní návrh. Moje logy jsou síce zatím malé, ale kdoví, jak se to vše vyvine .. takže toto byla dobrá připomínka.. no ale zase když je tu klogg ... tak už je ten můj prográmek leda na hraní, nebo zkusit si něco víc, než zatím umím.

A zkusím udělat i tu ANSI konverzi .. Našel jsem hotovou Python třídu na githubu, tak to bude taky zdroj námětů ( autor to tam bere seširoka, a zpracovává i kódy posunu a všeho možného, exportuje to do (asi) latexu, no mám představu něčeho kratšího.

Jinak díky..