Zabalení python package do jedné spustitelné binárky

18.6.2015 23:40 | Přečteno: 1934× | linux |

Python umožňuje spouštět i daleko podivnější věci než jen skripty s koncovkou .py, pojďme si ukázat jak vytvořit pod Linuxem z python balíku (adresáře) spustitelnou "binárku".

Vytvořímě si složku "foo". V ní vytvoříme soubor "__main__.py" a do něj napíšeme

print "wow!"

Soubor __main__.py způsobí, že je složka foo nyní "spustitelná". Můžeme tedy zavolat "python2 foo".

Nyní vytvoříme ze složky zip soubor:

python2 -m zipfile -c foo.zip foo/*

Zip soubor je také spustitelný:

python2 foo.zip

Vytvoříme soubor "foo" a do něj zapíšeme shebang:

#!/usr/bin/env python2

Nakonec obsah zipu zapíšeme na konec souboru foo a povolíme spuštení:

cat foo.zip >> foo
chmod +x foo

Voilá, máme spustitelnou binárku! :)

Uvedený postup ukázal David Bezley ve své přednášce Modules and Packages: Live and Let Die! (čas 45min) na konferenci PyCon 2015.        

Komentáře

[Josef Kufner]

PHP má na tohle PHAR. Je to přímo formát souboru určený k tomuto triku a má i podporu ve formě knihovny na manipulaci s ním. Na začátku pak je klasický PHP kód jako takový malý booloader a zbytek souboru je archiv, se kterým se pracuje.

#!/usr/bin/env php
<?php
Phar::mapPhar();
include 'phar://myphar.phar/index.php';
__HALT_COMPILER();
... a tady následuje archiv

[Dundee5]

Ano, Phar je celkem podobný koncept, ale řešení v Pythonu se mi líbí daleko víc, protože jsem schopný ho kdykoliv použít i bez čtení manuálu. Vytvoření PHARu zdaleka tak jednoduché a přímočaré není.

[xxxxxx]

Super věc :)

Proč ale python3 -m zipfile -c foo.zip foo/* funguje, kdežto zip foo.zip foo/* ne?

Do zápisku by se pak hodil tenhle odkaz, zmíněn v prezentaci.

[daks]

Proč ale python3 -m zipfile -c foo.zip foo/* funguje, kdežto zip foo.zip foo/* ne?

protože takhle do archivu nacpeš i ten adresář, ale python očekává pouze jeho obsah, tohle by mělo fungovat:

zip -j foo.zip foo/*

[xxxxxx]

Ahá, díky, to je přesně ono :)

[Bystroushaak]

Zajímavé, to jsem ani neznal. Kdybych to řešil, tak bych asi použil nuitku, která vytvoří skutečnou spustitelnou binárku.

[kralyk z abclinuxu]

Zas tohle má výhodu, že to je přenositelný...

[Jendа]

Ale stejně potřebuješ interpret Pythonu (ve správné verzi) a moduly. Tak nějak nevidím výhody proti distribuci adresáře se soubory…

[Bystroushaak]

Jednodušší stahování (nemusíš to packovat zvlášť jen pro stažení). Taky se to dá přímo spustit, narozdíl od složky s kopou souborů, kde musíš hledat hlavní.

[tom]

Funguje to diky tomu, ze ma zip hlavicku na konci souboru, takze na zacatek se da nacpat cokoliv. Nevyhoda je, ze ruzne nastroje oznaci typ souboru ruzne.

[Josef Kufner]

Teď se nabízí otázka, zda to je bug, nebo feature.

[mirec]

Bez tejto vlastnosti by nebolo možné urobiť samorozbaľovacie zip (s príponou .exe).

[Jendа]

Bez této vlastnosti je možné vytvořit samorozbalovací tar (s příponou sh). Tak proč ne zip?

Typicky to vypadá nějak jako cat $0 | tail -c +30 | tar xf a pak je přilepený ten tarball. (btw. jak skipnout prvních N bajtů souboru? dd nefunguje a tail -c +N IMHO není podporovaný všude)

[mirec]

S tarom musí človek vedieť presný offset. Na zip postačuje obyčajné unzip subor.exe.

[kralyk z abclinuxu]

S tarom musí človek vedieť presný offset.

Přesně tak. Tyhle prasárny fakt miluju, ještě když je to nakombinovaný s naprosto dementním stahovacím systémem...

[xkucf03]

Jako mnohem větší prasárna mi přijde, že stáhneš soubor z Internetu po HTTP a ani nezkontroluješ jeho hash.

[kralyk z abclinuxu]

Kontrolu hashí jsem tam dřív měl, ale oni ten systém občas měněj a asi se to někde ztratilo. Kdyby neměli tak idiotskej systém, tak můžu hashe kontrolovat vestavěným mechanismem. Ještě to opravim.

[xkucf03]

Nyní vytvoříme ze složky zip soubor:

Že by inspirace Javou? (JAR)

Nakonec obsah zipu zapíšeme na konec souboru foo a povolíme spuštení:

V Javě není potřeba ani nic takhle hackovat – použije se standardní mechanismus: binfmt_misc.

Vytvoříme si soubor Test.java s obsahem např.:

import java.util.Arrays;

public class Test {
    public static void main(String[] args) {
        System.out.println(Arrays.toString(args));
    }
}

Zkompilujeme a spustíme:

#Zkompilujeme:
javac Test.java

#Vytvoříme JAR:
jar cfe test.jar Test Test.class

# nastavíme spustitelný příkaz
chmod +x test.jar

# spustíme jako běžnou binárku
./test.jar ahoj

[chrono]

Pri tom Python riešení netreba používať binfmt_misc a ani nemusí mať ten súbor nejakú konkrétnu príponu.

[xkucf03]

binfmt_misc se řídí buď příponou nebo magickým číslem – takže přípona může být libovolná. Viz binfmt_misc: spouštíme javovské programy podobně jako nativní binárky

BTW: pro Python by to mělo fungovat taky:

$ cat /proc/sys/fs/binfmt_misc/python2.7 
enabled
interpreter /usr/bin/python2.7
flags: 
offset 0
magic 03f30d0a

$ cat /proc/sys/fs/binfmt_misc/python3.4 
enabled
interpreter /usr/bin/python3.4
flags: 
offset 0
magic ee0c0d0a

[chrono]

Keďže jar súbory sú normálne zip súbory, tak jediné rozumné riešenie je len tá prípona (a nechce sa mi hľadať, ako si to poradí s rôznou veľkosťou písmen). Pri tých zbalených python archívoch je binfmt_misc zbytočné, keďže tam stačí štandardný binfmt_script.

[xkucf03]

Keďže jar súbory sú normálne zip súbory

Úplně normální ne – sice je tam na začátku taky PK, ale další bajty jsou jiné. Můžeš si to vyzkoušet – příkaz file dokáže rozlišit ZIP a JAR.

[Gilhad]

To dokážu taky :)

zip

jar

[kralyk z abclinuxu]