Skript pro automatickou aktualizaci aplikací (FireFox atp.)

29.5.2014 22:57 | Přečteno: 2574× | Python | | poslední úprava: 28.4.2016 18:25

Skript pro automatickou aktualizaci aplikací FireFox, Thunderbird atp., které stahuje z ftp.mozilla.org, svůj průběh loguje do souboru, případně odesílá e-mail s reportem.

Závislosti v Debian Wheezy/Jessie jsou:

# aptitude install python2.7 libpython2.7-stdlib libpython2.7-minimal python-gpgme python-pycurl

Nejprve si ve stručnosti popíšeme jak skript funguje.

• zjistí číslo lokální a poslední dostupné verze
• pokud je poslední dostupná verze novejší nebo není žádná lokální verze, tak se pokusí o instalaci poslední dostupné verze
• stáhne si z URL do paměti SHA512SUMS, SHA512SUMS.asc, APPNAME-VERSION.tar.bz2
• zkontroluje zda-li je SHA512SUMS podepsán klíčem od Mozilla Software Releases
• zkontroluje zda-li souhlasí kontrolní součet APPNAME-VERSION.tar.bz2
• provede rozbalení archívu z paměti na disk

První spuštění

Nyní přistoupíme k vlastní akci. Nejprve si stáhneme a rozbalíme vlastní skript s konfiguračními soubory:

$ wget http://www.fuky.org/update_package/update_package-1.0.6.tar.bz2
$ tar xf update_package-1.0.6.tar.bz2

Stáhneme a ověříme veřejný klíč:

https://ftp.mozilla.org/pub/mozilla.org/firefox/releases/latest/KEY

Importujeme stažený veřejný klíč do ~/.gnupg/pubring.gpg:

$ gpg --import KEY

Vypíšeme si informace o veřejných klíčích:

$ gpg --list-keys
/home/fuky/.gnupg/pubring.gpg
-------------------------------------
pub   4096R/3A06537A 2013-07-16
uid                  Mozilla Software Releases <releases@mozilla.org>
sub   4096R/15A0A4BC 2013-07-16 [expires: 2015-07-16]

Zjistíme fingerprint subklíče:

$ gpg --fingerprint --fingerprint 15A0A4BC
pub   4096R/3A06537A 2013-07-16
      Key fingerprint = 2B90 598A 745E 992F 315E  22C5 8AB1 3296 3A06 537A
uid                  Mozilla Software Releases <releases@mozilla.org>
sub   4096R/15A0A4BC 2013-07-16 [expires: 2015-07-16]
      Key fingerprint = 5445 390E F5D0 C2EC FB8A  6201 057C C3EB 15A0 A4BC

Nastavíme fingerprint v našem konfiguračním souboru:

$ vim update_firefox.cfg
fingerprint = 5445390EF5D0C2ECFB8A6201057CC3EB15A0A4BC

Vytvoříme si cílový adresář pro rozbalení archívu (pro testy /tmp/opt, naostro /opt):

$ mkdir /tmp/opt

Spustíme vlastní skript:

./update_package.py update_firefox.cfg

Informace o průběhu nalezneme v logu:

$ cat update_package_firefox.log
Installed version = None
Remote version = 29.0.1
curl 'http://ftp.mozilla.org/pub/mozilla.org/firefox/releases/latest/linux-x86_64/cs/../../SHA512SUMS'
curl 'http://ftp.mozilla.org/pub/mozilla.org/firefox/releases/latest/linux-x86_64/cs/firefox-29.0.1.tar.bz2'
curl 'http://ftp.mozilla.org/pub/mozilla.org/firefox/releases/latest/linux-x86_64/cs/../../SHA512SUMS.asc'
Create symbolic link '/tmp/opt/firefox-29.0.1' '/tmp/opt/firefox'
firefox-29.0.1 installation successful

Jste-li s funkcí skriptu spokojeni můžeme přistoupit ke spouštěním pod uživatelem root, stačí si adresář se skriptem a konfiguračními soubory nakopírovat do /opt, nezapomenout nakopírovat veřejný klíč i uživateli root:

# cp /home/user/.gnupg/pubring.gpg ~/.gnupg

a změnit v *.cfg cílový adresář:

[DEFAULT]
pkg_dir = /opt

Skript můžeme automaticky spouštět např. pomocí Cronu každý den v 05:00 ráno:

# crontab -e
0 5 * * * /opt/update_package/update_package.py update_firefox.cfg

Konfigurace *.cfg

Vše potřebné můžeme nastavovat v konfiguračním souboru, který se předává programu jako první argument. Zadává se pouze název konfiguračního souboru bez cesty, protože se *.cfg hledá přímo v adresáři kde se nachází skript.

Report na e-mail

Pokud chceme zaslat upozornění v případě vyjímky (např. špatně podepsaný soubor s checksumy, neodpovídající checksum atp.) nebo úspěšné instalaci nové verze e-mailem, tak to povolíme v následující sekci *.cfg:

[mail]
enable = 1
smtp = smtp.example.org
subject = Update firefox
from = admin@example.org
to = user@example.org

Název adresáře s aplikací, symlink, zjištění verze

Následující nastavení odpovídá rozbalení do adresáře /opt/firefox-VERSION a vytvoření symbolického linku /opt/firefox na tento adresář:

[DEFAULT]
pkg_name = firefox
pkg_dir = /opt
pattern_dir = ^firefox-(?P<version>.+)$
change_destination_dir = 1

[version]
file_cfg =

Číslo verze se v tomto případě zjišťuje z názvu adresáře, na který ukazuje symbolický link.

Pokud chceme, aby se nám archív rozbaloval přímo do adresáře /opt/firefox a předtím tento adresář smazal tak upravíme následující nastavení:

[DEFAULT]
change_destination_dir = 0

[version]
file_cfg = platform.ini
section = Build
option = Milestone

Číslo lokální verze se poté bude zjišťovat v /opt/firefox/platform.ini.

Stáhnutí jiné jazykové verze

Chceme-li instalovat českou verzi místo anglické, tak níže změníme en-US na cs:

pkg_url = http://ftp.mozilla.org/pub/mozilla.org/firefox/releases/latest/linux-x86_64/en-US
checksum_fn_prefix = linux-x86_64/en-US/

Obdobně můžeme měnit i cílovou platformu, případně stahovat i jiné aplikace od Mozilla Foundation.

Exception: BAD signature (summary = VALUE)

VALUE = { SIGSUM_KEY_EXPIRED = 32, SIGSUM_KEY_MISSING = 128 }

Klíči 3A06537A vypršela platnost 2015-07-16 a Mozilla ho použila i po jejím vypršení, takže skript končil s chybou 32. S dalším releasem Mozilla vydala nový klíč a skript skončil s chybou 128. Stačí odstranit starý klíč:

# gpg --delete-key 3A06537A
pub  4096R/3A06537A 2013-07-16 Mozilla Software Releases <releases@mozilla.org>
Delete this key from the keyring? (y/N) y

Stáhnout a importovat nový:

# gpg --import KEY 
gpg: key D98F0353: public key "Mozilla Software Releases <releases@mozilla.org>" imported
gpg: Total number processed: 1
gpg:               imported: 1  (RSA: 1)

# gpg --list-keys
pub   4096R/D98F0353 2015-07-17
uid                  Mozilla Software Releases <releases@mozilla.org>
sub   4096R/5E9905DB 2015-07-17 [expires: 2017-07-16]

A aktualizovat fingerprint v konfiguračním souboru:

fingerprint = F2EF4E6E6AE75B95F11F1EB51C69C4E55E9905DB

HTTPError: HTTP Error 404: Not Found nebo Exception: Remote version not found

Od 21.10. 2015 je změněný web mozilla.org, proto je třeba použít novou verzi update_package-1.0.2, která s novým webem počítá.

Od 17.11. 2015 je změněný web mozilla.org, proto je třeba použít novou verzi update_package-1.0.4, která s novým webem počítá.

09.03. 2016 - update_package-1.0.5 - bugfix: počítá s více mezerami v souboru SHA512SUMS.

Nejnovější verze

28.04. 2016 - update_package-1.0.6 - řeší vyjímku "Exception: CHECKSUM not found", která začala nastávat, protože Mozilla změnila formát názvu souboru uvedeného v SHA512SUMS od verze FireFoxu 46.0.

Závěr

Máte-li náměty na vylepšení či dotazy, případně pokud jsem opomněl něco důležitého zmínit, piště do diskuze.

       

Komentáře

[Max]

Zajímalo by mně, proč neoperuješ s https, ale používáš nešifrovanou komunikaci?
Také by mně zajímalo, k čemu je to dobré? Když chci udržovat nějakou aktuálnější verzi na více PC, tak si přeci rozjedu vlastní repo a řeším to systémově přes něj.
Zdar Max

[joshua]

Dělá ti dobře shazovat práci jiných ? Rači bys měl udělit tučňáka.

[Fuky]

ad 1. Je jedno zda-li stáhnu archív přes http nebo https, pokud mám správný veřejný klíč, tak mám i ověřeno, že archív pochází od majitele klíče privátního. Co by podle tebe přineslo https?

ad 2. Mě osobně napadá hned několik použití. Server, který poskytuje systém přes NFS X bezdiskovým PC (v tomto případě je vlastní repozitář zbytečný, využíval by ho pouze tento server). Binárky pro balíček ve vlastním repozitáři musím také někde stáhnout, což zařídí právě tento skript, pak už není problém automaticky vygenerovat a podepsat balíček. Jak by jsi to udělal bez něj?

[smazáno]

Promin, ale v Linuxu fakt jedine pres balickovaci system. Rozbalovat tarbally nekam do /opt je fakt prasarna :-/. Uvidis sam.

Ale chapu, ze potrebujes nejnovejsi verze programu, ktere ti jeste nikdo nezbalil, a dokonce se to snazis poresit i ciste (kontrola klicu atd.) - kouknul ses treba na buildservice? Ono pokud by se ti povedlo toto zautomatizovat a hezky propojit s balickama, tak by to bylo mnohem uzitecnejsi.

[smazáno]

ad1. Pravda, ale ten klic v kroku "Prvni Spusteni" by si pres https stahnout mel, i kdyz pravda ze https v dnesnim pojeti, kdy se ve vychozim stavu duveruje stovkam CA, je uz pomalu security theatre.

[Fuky]

Souhlasím, proto si myslím, že je třeba věnovat získání správného klíče více energie a ověřit si ho případně na více nezávislých místech.

[Max]

ad 1) narážel jsem hlavně na stažení toho klíče přes http
ad 2) to jsem si také řekl, že by to mohl být dobrý začátek pro automatické buildování, ale osobně bych vždy buildoval a nenasazoval to za zády balíčkovacího systému (za předpokladu, že to budu používat na distribuci s balíčkovacím systémem)

[EPO]

Je takovy system odolny vuci replay attack ? Overuje se nekde, ze nainstalovana verze je nejnovejsi ?

[Fuky]

ad 1. Dle mého názoru je nejvíce kritické místo získání veřejného klíče. Pakliže není tento klíč podvržený a autorům není odcizen klíč privátní, tak nevidím příliš prostoru pro to, aby někdo podvrhu vlastní verzi archívu, případně využil "replay attack".

ad 2. Vycházím z předpokladu, že se na http://ftp.mozilla.org/pub/mozilla.org/firefox/releases/latest nachází vždy nejnovější verze. Je tedy pravda, že by útočník mohl podvrhnout sice oficiální verzi od Mozilla Foundation, ale mohla by to být verze starší, která obsahuje více známých a snadněji zneužitelných bezpečnostních chyb. Tento problém vyřeším tak, že ještě před instalací budu kontrolovat verzi přímo v archívu firefox/platform.ini a nebudu porovnávat verze jako řetězce, ale jako sekvenci čísel, s tím, že nově instalovaná musí být větší.

[R]

http://mozilla.debian.net/

[ivan]

Tak to nie je moc aktualna foxka 24.5 ked teraz je 29.0.1.

Foxku si davam stabilnu do debianu, normalne ju rozbalim malym skriptikom, nac to komplikovat:

cat  firefox-update.sh 
if [[ $# -eq 0 ]] ; then
    echo 'Argument je meno stiahnuteho suboru firefoxu v tvare firefox-29.0.1.tar.bz2'
    exit 1
fi
rm /usr/lib/firefox/ -fr
cd /usr/lib/
tar xvjf /home/jj/Downloads/$1
rm /usr/bin/firefox
ln -s /usr/lib/firefox/firefox /usr/bin/firefox

[Fuky]

Neověřuješ kdo je autorem balíčku, takže ti klidně někdo může podvrhnout svojí verzi, která si bude dělat v systému co chce.

[R]

Pre Wheezy je tam 29.0.1... Staci pridat do sources.list.d a uz len cez aptitude upgradovat ako ostatne baliky.

[R]

Bonus pre paranoikov: kluc k archivu sa nemusi overovat, staci nainstalovat balik pkg-mozilla-archive-keyring, ktory je sucastou stable Debianu.

[Petr Tomášek]

$ wget http://ftp.mozilla.org/pub/mozilla.org/firefox/releases/latest/KEY
$ gpg --import KEY

nasrat

[Fuky]

Stáhneme a ověříme veřejný klíč...

[Petr Tomášek]

A to provedeme pomocí wget jak?

[Fuky]

Ano, věta "Stáhneme a ověříme veřejný klíč" není jednoznačná, upřesním jí tedy. Milý uživateli Petře, stáhni si veřejný klíč, klidně pomocí "wget http://" a ověř si jeho pravost jak jsi zvyklý, podle svého nejlepšího vědomí a svědomí.

Každý jsme totiž jinak paranoidní. Někdo důvěřuje certifikátu podepsanému od DigiCert Inc, někdo i certifikátu podepsanému od DigiCert Sdn. Bhd. Další zase věří, že se mirroru nemůže nikdo zmocnit. A někdo zase pro změnu kontroluje fingerprint veřejného klíče na více nezávislých místech. Rozebírat to by vydalo na článek.

Bude fajn, když se s námi podělíš o informace jak to řešíš ty, kde vidíš potencionální nebezpečí a co už je podle tebe příliš paranoidní.

[David Watzke]

Zrovna v dnešní době, kdy mají lidi nakradené openssl klíče a můžou udělat MITM, je to jedno

[Bystroushaak]

Ty jo. To je automatický script na rozbíjení všech doplňků? Málokdy jsem aktualizoval FF dřív, než pár týdnů po vydání nové verze, aby autoři stihli opravit co mozilla zase rozbila.

[pavlix]

V článku podle mě chybí nejdůležitější věc, tedy motivace. Už se nad tím pozastavilo několik lidí v diskuzi, dokonce tu padl i nějaký ten alternativní přístup a minimálně jeden pádný důvod, proč to nedělat.

[Fuky]

Z mé strany je motivace následující:

• nejčerstvější verze by měla mít bezpěčnostní aktualizace rychleji než verze ESR, ze které čerpá Debian
• uživatelé nevyužívají doplňky, takže jejich případné rozbití v nové verzi pro mě není podstatné
• skript lze použít i v jiné distribuci než je Debian, případně i pro úplně jiný SW, po menší modifikaci, např. pro děravý Flash, ale na to je v Debianu balíček flashplugin-nonfree

[pavlix]

nejčerstvější verze by měla mít bezpěčnostní aktualizace rychleji než verze ESR, ze které čerpá Debian

Je vcelku běžné, že distribuce implementují bezpečnostní opravy ve stejnou dobu jako upstream, takže toto zdůvodnění nelze aplikovat bez analýzy bezpečnostních problému konkrétního software v konkrétní distribuci. Často může být tento přístup naopak kontraproduktivní kvůli zanesení bezpečnostních chyb ještě před jejich odhalením.

Ostatní body nepovažuju za motivaci, nýbrž obhajobu.

[Fuky]

Pokud mám správné informace, tak momentálně by to mělo fungovat tak, že se udělá nejprve aktualizace nejnovější verze FireFoxu, posléze se udělá backport do verze ESR a ten převezme i tým Debianu. S časem bude aktuální verze FireFoxu vzdálena verzi ESR víc a víc. Takže předpokládám, že nejvíce úsilí se zaměřuje právě na aktuální verzi.

Není to obhajoba, snažil jsem se reagovat na "minimálně jeden pádný důvod, proč to nedělat" a "alternativní přístup", jen jsem se snažil uhádnout co konkrétně jsi měl na mysli.

[pavlix]

Pokud mám správné informace, tak momentálně by to mělo fungovat tak, že se udělá nejprve aktualizace nejnovější verze FireFoxu, posléze se udělá backport do verze ESR a ten převezme i tým Debianu.

Chceš říct, že má Firefox v Debianu výjimku a jeho bezpečnostní problémy se ve stable řeší čekáním na opravu v ESR? Máš pro to nějaký relevantní zdroj?

[Fuky]

Mrkni se na iceweasel - several vulnerabilities. Mmj. je pro mě důležité mít FireFox s opravovanými chybami i v oldstable, ale na to nemá Debian kapacity, skript to opět řeší...

[pavlix]

Hmm, to zní jako zdroj. A skutečně se to týká několika málo balíků včetně Firefoxu. Pokud jde o oldstable, pokud to jde řešit takto jednoduše, je otázka zda by nestálo za to se přihlásit s tím, že máš řešení, a doladit skript od té míry, aby z něj padal výstup použitelný pro buildy pro Debian oldstable.

Nicméně, vzhledem k tomu, že se Firefox aktivně vyvíjí, tak bych viděl problém v tom, že tam může přibývat security problémů s každým updatem a není tam žádný prostor na stabilizaci. Takový software je podle mě potřeba považovat apriori za rizikový a podle toho se k němu chovat. Rychlá aktualizace je super, ale hlavní problém to podle mě neřeší, nicméně už alespoň chápu, o co se snažíš.