Dotaz: Python, Zjistovani novych souboru v adresari

[Ondrej Liska]

Dobry den,

programuji v pythonu programek ktery by mel reagovat na vznik noveho souboru ve sepcifikovanem adrresari.

Zatim to delam tak, ze kazdou vterinu prohlizi obsah zadane slozky a pokud se tam objevi nejaky novy soubor tak porovnam soucasny timestamp a timestamp data modifikace souboru a pokud je soubor novejsi, vypisu ho.

Toto reseni vsak neni idealni. Je prosim nejaka inteligentnejsi reseni?

Odpovědi

[Sten]

Řešení se jmenuje pyinotify

[Ondrej Liska]

Mohl by mi prosim nekdo napsat jak pyinotify pouzit na tento konkretni problem? Nejak se v tom nemuzu vyznat a ten pyinotify zdrojak ma asi 2000 radku.

[chrono]

Dokumentáciu si pozeral? (napr. príklad a konkrétne súbor tutorial_notifier.py)

[Ondrej Liska]

jj, presne na ten jsem se dival, ale z neho mi nebylo jasne, jak potom nazev nove vytvoreneho souboru predam zpet do volajici metody urcite tridy. Jakym zpusobem je toto mozne?

[chrono]

Musíš ten názov predať späť? Nestačí, aby si v tej triede HandleEvents zavolal funkciu, ktorá ten nový súbor nejako spracuje?

[Ondrej Liska]

No potreboval bych ten nazev predat metode tridy, od niz mam jiz vytvorenou instanci. Takze pokud bych tu metodu volal primo z HandleEvents, tak bych tam zas potreboval nejak dostat odkaz na instanci te tridy.

[chrono]

Kombinácia príkladov tutorial_notifier.py a daemon.py:

import pyinotify
import functools
import sys

wm = pyinotify.WatchManager()  # Watch Manager
mask = pyinotify.IN_CREATE  # watched events

class Trieda(object):
    def zobraz(self, pathname):
        print pathname

def on_loop(notifier, trieda):
    trieda.zobraz(notifier.pathname)

on_loop_func = functools.partial(on_loop, trieda=Trieda())
notifier = pyinotify.Notifier(wm, on_loop_func)
wdd = wm.add_watch('/tmp', mask, rec=True)

notifier.loop()

[Ondrej Liska]

No ja to tam takto:

class mojeTrida:
    # moje trida, ktera ma na starosti danou akci nad soubory
    ...
    def monitorMode(dir)
        # Az po zavolani teto metody vim, ze uzivatel chce pouzit monitorovaci rezim
        # Tady nekde by melo byt to cekani na nove tvoreny soubor
        # Jakmile zjistim, ze mam novy soubor, vezmu jeho jmeno a zavolam metodu
        # __zpracujSoubor s parametrem nazev noveho souboru
        if mameNovySobor:
            self.__zpracujSoubor(file)


    def __zpracujSoubor(file)
        # zakladni metoda tridy, ktera provadi danou akci nad souborem

# ========= main =========

# Na zacatku programu pouze zalovam metodu na monitorovani slozky
inst = mojeTrida()
inst.monitorMode("/home/user/test")

[Ondrej Liska]

Takze otazka zni, jak zakomponovat to Vase reseni do toho co jsem vyse uvedl?

[chrono]

Môžeš vyskúšať napr. niečo takéto:

import pyinotify

class mojeTrida:
    def monitorMode(self, dir):
        wm = pyinotify.WatchManager()
        notifier = pyinotify.Notifier(wm, self.__process_event)
        wdd = wm.add_watch(dir, pyinotify.IN_CREATE, rec=True)
        notifier.loop()

    def __process_event(self, notifier):
        self.__zpracujSoubor(notifier.pathname)

    def __zpracujSoubor(self, file):
        print file

inst = mojeTrida()
inst.monitorMode("/tmp")

[Ondrej Liska]

Ano, funguje to, dekuji. Jde nejak udelat i to, aby si pyinotify vsimal jen souboru specifikovanych nejakym filtrem? Videl jsem v prikladech ze je umi pomoci filtru vyloucit (exclude) tak podporuje i neco jako include?

[chrono]

Také niečo to nepodporuje. Problém je, že (okrem iného) by to muselo testovať, či je ten objekt adresár a v takom prípade sa to nebude filtrovať (inak by sa kompletne zablokovalo kontrolovanie tých udalostí).

Asi najjednoduchšie bude pridať tú kontrolu do tej funkcie __process_event (urobil som to podobne, ako je to urobené v ExcludeFilter):

import pyinotify
import re

class mojeTrida:
    def monitorMode(self, dir):
        wm = pyinotify.WatchManager()
        notifier = pyinotify.Notifier(wm)
        incl_lst = ['.*/apache[0-9]+\.log', '.*~']
        self._lregex = []
        for regex in incl_lst:
            self._lregex.append(re.compile(regex, re.UNICODE))
        wdd = wm.add_watch(dir, pyinotify.IN_CREATE, rec=True, proc_fun=self.__process_event)
        notifier.loop()

    def __process_event(self, event):
        path = event.pathname
        for regex in self._lregex:
            if regex.match(path) is not None:
                self.__zpracujSoubor(path)
                break

    def __zpracujSoubor(self, file):
        print file

inst = mojeTrida()
inst.monitorMode("/tmp")

(možno by bolo lepšie, keby sa tie vzory predávali ako parameter funkcie monitorMode)

[Ondrej Liska]

Dobry napad, dekuji.