Efektívny automatický reloader pre django

11.9.2016 20:53 | Přečteno: 1650× | Programovanie | | poslední úprava: 14.9.2016 11:25

Webový framework django obsahuje vlastný testovací web server s automatickým reloadom pri zmene súborov. Implementovaný je pollingom, pri ktorom sa raz za sekundu skenuje každý zdrojový kód (vrátane knižníc). Preto som sa rozhodol implementovať malý skript, ktorý bude používať inotify a webovú aplikáciu automaticky reloadne pri uložení súboru.

Show Me the Code

Zdrojové kódy som ako zvyčajne hodil na github. Skript run-django využíva knižnicu watchdog na detekciu zmien medzi zdrojovými kódmi projektu. Po zmene súboru skript počká zvolený časový interval, následne ak nebol zmenený žiaden ďalší súbor pošle SIGHUP signál uwsgi procesu. Zaujímavé časti kódu sú:

class ReloaderEventHandler(events.PatternMatchingEventHandler):
    RELOAD_ON_EVENTS = {
        events.EVENT_TYPE_MOVED,
        events.EVENT_TYPE_DELETED,
        events.EVENT_TYPE_CREATED,
        events.EVENT_TYPE_MODIFIED,
    }

    def __init__(self, *args, **kwargs):
        self.proc = kwargs.pop('proc')
        self.reload_wait_time = kwargs.pop('reload_wait_time')
        self.timer = None
        super(ReloaderEventHandler, self).__init__(*args, **kwargs)

    def _run(self):
        if self.timer is not None:
            self.timer.cancel()
        pid = self.proc.pid
        def reload_uwsgi():
            print("Reloading uwsgi ...")
            os.kill(pid, signal.SIGHUP)
            self.timer = None
        self.timer = threading.Timer(self.reload_wait_time, reload_uwsgi)
        self.timer.start()

    def on_any_event(self, event):
        if event.event_type in self.RELOAD_ON_EVENTS:
            self._run()


def main():
    event_handler = ReloaderEventHandler(patterns=['*.py'], proc=proc)
    observer = Observer()
    observer.schedule(event_handler, path=os.path.abspath("."), recursive=True)
    observer.start()

Zvyšok kódu sú viac-menej nechutnosti ako načítavanie konfigurácie (~/.config/run_django.cfg), parsovanie argumentov či ofarbenie logov.

Inštalácia

sudo install run-django /usr/local/bin/

Kto chce domáce cvičenie z bashu nech si to prepíše na mkdir a cp ;)

Debugger

Doteraz som pri práci spúšťal django príkazom python manage.py runserver_plus z balíka django-extensions, ktorý zobrazil pri výnimke namiesto štandardného stack trace werkzeug debugger. Do repozitára som pridal wsgi skript s podporou werkzeug - wsgi_werkzeug.py, ktorý stačí skopírovať do vlastného projektu, prepísať DJANGO_SETTINGS_MODULE a spustiť run-django --module wsgi_werkzeug.

       

Obrázky

Komentáře

[Cabrón]

Po zmene súboru reaguje čakaním 0.1s (neviem ako iné editory, ale vim ukladá najskôr do dočasného súboru a následne premenuje súbor, takže je to taký hack aby nedošlo k race condition)

To je pořád race condition, jen s o 0.1 s menší citlivostí

Lepším řešením by bylo (pokud to watchdog API umožňuje) dočasné soubory filtrovat (např. ignorovat basename ".goutputstream-*" pro GIO-based editory jako Gedit nebo Geany).

[mirec]

Myslím, že väčšina editorov ukladá s dočasnou príponou a ja kontrolujem .py súbory, takže toto problém robiť nebude aj keď dám čas 0. Ošetrenie je skôr pre prípady keď sa uloží viacej súborov naraz, alebo sa vygeneruje adresár s novou app (django-admin.py startapp vytvára asi 4 súbory "naraz").

[chrono]

Entr to rieši tak, že danú činnosť spúšťa až po tom, ako sa prestanú súbory na nejaký čas meniť (konkrétne pre takýto prípad je použitá 1ms).

Inak napr. server, ktorý je vo werkzeug, môže tiež používať knižnicu watchdog a problémy so súbehom nerieši nijako (len sa medzi každou kontrolou spí minimálne 1 sekundu).

[Cabrón]

1 ms je strašně málo, na běžným desktopu je jenom seek time disků v desítkách ms, a v zátěži (hlavně IO, např. při kopírování hodně dat) to může vylítnout i do jednotek sekund.

[mirec]

Vďaka za pripomienky. Upravil som skript aby fungoval rovnako + pridal som parameter reload_wait_time (dá sa vložiť do konfiguračného súboru, alebo pri každom spustení príkazu), ktorým sa nastavuje príslušný interval.

O reloade vo werkzeugu viem, len akosi s djangom to nefunguje moc dobre. Používal som django_extensions, doinštaloval som watchdog, pri štarte to vypísalo pekne, že využíva inotify reloader, ale aj tak to žralo cca 5% CPU permanentne, čo pri práci vonku na baterke neakceptujem

[chrono]

Kontrola a použitie súborov neprebieha v rovnakom čase, takže problémy súbehu tam budú vždy.

[Jindřich Makovička]

Django mimochodem od verze 1.8 inotify používá, pokud je nainstalované pyinotify. Viz autoreload.py.

[mirec]

Poznám, len neviem, či je to bug alebo funkcia, ale s runserver_plus síce vypíše, že používa inotify reloader, ale pritom stále kontroluje súbory každú sekundu. Tiež sa mi nezdá práve najšťastnejšie registrovať inotify pre všetky použité knižnice. Momentálne používam na virtualenv squashfs pripájaný cez squashfuse a registrácia inotify tam trvá okolo 10s.