Generujeme barcode přes FUSE (fakt)

1.7.2015 20:25 | Přečteno: 2075× | Václavův software | | poslední úprava: 1.7.2015 20:25

Protože tady dlouho nebyl žádný pořádný linuxový blog, žádný pěkný hack, nebo zajímavý kus kódu, přináším toto vše v jednom zápisku. Ukážeme si, že napsat vlastní filesystém dnes zvládne i úplný noob, jako jsem třeba já, má to celé asi 100 řádků. A i když by se mohlo zdát, že "barcodefs" je poněkud ujetý způsob, jak generovat obrázky s barocode, nějakou skrytou poetiku to má.

Kupodivu zadání není žádným akademickým problémem, ale z reality vzešlým požadavkem. Interní generátor code93 v našem skvělém systému je rozbitý, generuje nepřečtitelné kódy. Existuje určitě mnoho způsobů, jak problém vyřešit - například si kódy nagenerovat bokem a pak je použít (a pak smazat), nebo se hrabat v interním generátoru, ale já jsem po zralé úvaze přišel k tomu, že si prostě udělám filesystém, který bude mít všechny kódy už v sobě a uživatel si je bude jenom používat, prostě aby soubor s kódem získal něčím jako:

cp /media/barcodefactory/123456.png .

...a všechny (myslitelné!) takové soubory už by tam prostě z pohledu uživatele byly.

Jako správný hacker vezmeme základní nástroj, kterým je samozřejmě perl, i když implemetace řekněmě v C by byla velmi podobná. Perl má pro FUSE knihovnu, které se překvapivě jmenuje perl-Fuse, nainstalujeme a jdeme na to.

Aby filesystém fungoval, musí umět překvapivě málo. Začneme nějakou perlovu omáčkou a jdeme rovnou na to. V našem filesystému budeme implementovat funkce getattr, open, read, release (pro close()) a ... to je vše! Jak teda na to?

#!/usr/bin/perl

use strict;
use warnings;
use Fuse;
use POSIX qw(ENOENT EISDIR EINVAL O_WRONLY);

my ($tmp, $mount) = @ARGV if @ARGV;
($tmp && $mount) or die "Usage: ", $0, " temp_directory mount-point/", "\n";

my %files;

Fuse::main(
    mountpoint  => $mount,
    mountopts   => "allow_other",
    getattr     => \&getattr,
    open        => \&open,
    read        => \&read,
    release     => \&release,
    threaded    => 0
);

...takže jsme zadefinovali odkazy svoje funkce, zadali pár parametrů a definovali hash %files, kde budeme skladovat handlery pro naše soubory. Potřebujeme něco, co bude generovat barcode, vezmeme si GNU barcode a ghostscript, jejichž kombinace nám udělá krásný .png soubor.

sub generate {
    my $barcode = shift;
    system "barcode -n -b \"$barcode\" -e code93 -E | gs -q -dSAFER -dBATCH -dNOPAUSE -dEPSCrop -sDEVICE=pnggray -r100x30 -sOutputFile=\"$tmp/$barcode.png\" -";
}

První funkce, na kterou se podíváme, je getattr - v perlu vrací to stejné funkce stat(). Toto je volání, které musí dát nějakou smysluplnou odpověď, jinak se uživatel nedostane k souborům. Navíc musíme odpovědět i pro samotný kořenový adresář. U jednotlivých souborů odpovídáme pouze na .png soubory, nic jiného "nemáme". Trochu problém je v tom, že musíme vracet délku souboru, takže už teď si jej musíme nagenerovat, zatím trochu zbytečně.

sub getattr {
    my $path = shift;
    return (-ENOENT()) unless $path;
    $path =~ s#^/##;
    $path = '.' unless length($path);

    if ($path eq ".") {
        return (0, 0, 0040555, 1, 0, 0, 0, 0, 0, 0, 0, 4096, 0);
    }

    elsif ($path =~ /.png$/) {
        # Nageneruju soubor, potrebujeme znat delku.
        my $barcode = $path;
        $barcode =~ s/.png$//;
        generate($barcode);
        $barcode =~ s/.png$//;
        return stat("$tmp/$barcode.png");
    }
    else {
        return (-ENOENT());
    }
}

Další funkcí je potom open. Bohužel musíme generovat soubor znovu, ale co už, trvá to jenom okolo desetiny sekundy. Zase povolíme otevřít jenom .png. Výsledný soubor už ale otevřeme a zapamatujeme si filehandle do hashe %files, ať jej neotevíráme furt dokola. Protože jedeme bez threadů, nemusíme se bát, že se něco rozbije, jinak by tady byl potenciál otevřít soubor, který zrovna někdo jiný generuje, ale takto je to OK.

sub open {
    my $path = shift;
    return (-ENOENT()) unless $path;
    $path =~ s#^/##;
    $path = '.' unless length($path);
    if ($path =~ /.png$/) {
        # Nageneruju soubor znovu - kdyby nekdo sel bez getaatr.
        my $barcode = $path;
        $barcode =~ s/.png$//;
        generate ($barcode);
        open my $fh, "<", "$tmp/$barcode.png" || print "open failed";
        binmode $fh;
        $files{$barcode} = $fh;
        return 0;
    }
    else {
        return (-ENOENT());
    }
}

Takže máme otevřeno, teď bude asi uživatel chtít číst. OK, předhodíme mu v zásadě obsah nagenerovaného souboru a mapujeme to 1:1. My už máme soubor otevřený, takže jenom použijeme uloženou filehandle v hashi %files.

sub read {
    my ($path, $bytes, $offset) = @_;
    my $barcode = $path;
    $barcode =~ s#^/##;
    $barcode =~ s/.png$//;
    my $buffer;
    my $status = read ($files{$barcode}, $buffer, $bytes, $offset);
    if ($status > 0) {
        return $buffer;
    }
    return $status;
}

No a nakonec - a to je fikané - nám FUSE řekne, že tento soubor už nikdo nepoužívá. Udělá to tak, že zavolá "release". Tak po sobě uklidíme.

sub release {
    my $path = shift;
    my $barcode = $path;
    $barcode =~ s#^/##;
    $barcode =~ s/.png$//;
    close $files{$barcode};
    unlink "$tmp/$barcode.png";
    return 0;
}

Toť vše! Barkódy můžeme z filesystému "vykopírovat", ale můžeme je taky klidně použít například jako vstup do jiného programu. Normálně takto generované soubory umístím do jasper layoutu a jasper si spokojeně chroustá a vysype PDF s čitelnými barkódy. Celý kód zde, pokud to někdo chcete použít, dávám tomu BSD licenci.

#!/usr/bin/perl

use strict;
use warnings;
use Fuse;
use POSIX qw(ENOENT EISDIR EINVAL O_WRONLY);

my ($tmp, $mount) = @ARGV if @ARGV;
($tmp && $mount) or die "Usage: ", $0, " temp_directory mount-point/", "\n";

my %files;

sub getattr {
    my $path = shift;
    return (-ENOENT()) unless $path;
    $path =~ s#^/##;
    $path = '.' unless length($path);

    if ($path eq ".") {
        return (0, 0, 0040555, 1, 0, 0, 0, 0, 0, 0, 0, 4096, 0);
    }

    elsif ($path =~ /.png$/) {
        # Nageneruju soubor, potrebujeme znat delku.
        my $barcode = $path;
        $barcode =~ s/.png$//;
        generate($barcode);
        $barcode =~ s/.png$//;
        return stat("$tmp/$barcode.png");
    }
    else {
        return (-ENOENT());
    }
}

sub open {
    my $path = shift;
    return (-ENOENT()) unless $path;
    $path =~ s#^/##;
    $path = '.' unless length($path);
    if ($path =~ /.png$/) {
        # Nageneruju soubor znovu - kdyby nekdo sel bez getaatr.
        my $barcode = $path;
        $barcode =~ s/.png$//;
        generate ($barcode);
        open my $fh, "<", "$tmp/$barcode.png" || print "open failed";
        binmode $fh;
        $files{$barcode} = $fh;
        return 0;
    }
    else {
        return (-ENOENT());
    }
}

sub read {
    my ($path, $bytes, $offset) = @_;
    my $barcode = $path;
    $barcode =~ s#^/##;
    $barcode =~ s/.png$//;
    my $buffer;
    my $status = read ($files{$barcode}, $buffer, $bytes, $offset);
    if ($status > 0) {
        return $buffer;
    }
    return $status;
}

sub release {
    my $path = shift;
    my $barcode = $path;
    $barcode =~ s#^/##;
    $barcode =~ s/.png$//;
    close $files{$barcode};
    unlink "$tmp/$barcode.png";
    return 0;
}

sub generate {
    my $barcode = shift;
    system "barcode -n -b \"$barcode\" -e code93 -E | gs -q -dSAFER -dBATCH -dNOPAUSE -dEPSCrop -sDEVICE=pnggray -r100x30
-sOutputFile=\"$tmp/$barcode.png\" -";
}

fork and exit;

Fuse::main(
    mountpoint  => $mount,
    mountopts => "allow_other",
    getattr     => \&getattr,
    open        => \&open,
    read        => \&read,
    release     => \&release,
    threaded    => 0
);

       

Komentáře

[RM]

Paráda,díky!

[Tomáš]

Dávám bod za slovo "nepřečtitelné".

A ty ukázky prošly obfuskátorem?

[xvasek]

Ale no tak, vždyť je to krásný kód, ani nepoužívám implicitní proměnnou a je to i "strict".

[prqek]

A ty ukázky prošly obfuskátorem?

Ne, je to napsané v perlu :)

[RM]

Co je tohle?

(0, 0, 0040555, 1, 0, 0, 0, 0, 0, 0, 0, 4096, 0)

[RM]

ok, seznam co vrací stat(); jinej význam to tedy asi nemá

[xvasek]

Čert ví, co které to číslo konkrétně znamená, ale v podstatě to sumárně říká, že to je adresář s nějakými právy a je možno ho číst.

[Pavel]

Pěkný!

Ještě teda si řikam, že to napsat jako webovou věc, tak si kód člověk stáhne odkudkoliv a klidně i z Widlí, ale je mi jasný, že implementace by pak byla dost nuda.

[Josef Kufner]

Takových už se po webu válí hromady. Co však stojí za zmínku je knihovna qrcode-generator, která umožňuje generovat QR kódy v JS v prohlížeči. Lze to velmi snadno integrovat do prakticky jakékoliv aplikace a promění to jednoduchý element v hromadu čtverečků.

[xkucf03]

Na web zase potřebuješ HTTP server, nějaký skriptovací modul nebo CGI, většinou DNS a síťování... Já si naopak říkám, že by se mnohem víc služeb/zdrojů dalo dělat přes souborový systém -- je to dobré API, standardizované, umí s ním pracovat libovolná aplikace, dá se procházet/poznávat pomocí již existujících a jednoduchých nástrojů (mc, cd, ls, správci souborů v GUI), je hodně flexibilní (stromová struktura uzlů, které můžeš číst, zapisovat... máš tam i rozšířené atributy, přes které se dají předávat další metadata). Chci si udělat takové např. pro svůj blog -- pak bych mohl psát články v libovolném editoru a nepotřeboval bych k tomu WWW prohlížeč.

[Petr Tomášek]

Já nevím, nikde tam nevidím ošetření zadání nechtěných znaků. Dost blbé z hlediska bezpečnosti. To je takový problém tam přidat jeden regex, něco jako (zjednodušeně zapsáno): [0-9]{1,30}.png ?

[xvasek]

To je ošetřené. V takovém případě to ten barcode obrázek vůbec nenageneruje, soubor v tempu neexistuje a getattr tudíž vrátí -ENOENT() - což je přesně to, jak se to má chovat.

Popravdě jsem tam ten check měl, ale pak jsem ho vyhodil, protože nevím, co všechno si do těch kódů nacpou za znaky, takže nechávám na gnu barcode, co z toho vygeneruje a co ne.

Ale máš pravdu, že to je chyba, protože takto by se to dalo například exploitnout - do názvu souboru se dají vložit uvozovky a nějaký další příkaz za rouru nebo středník. Holt to není zabezpečené a pořád obecně platí, že by člověk neměl kopírovat kód z internetu.

Ono by se to dalo tunit dál, třeba teď to generuje jenom code93, ale daly by se tam jednoduše udělat podadresáře pro code39, code39 extended, code128, dva z pěti atd.

[Josef Kufner]

Když vytváříš název dočasného souboru, tak prožeň generovaný kód třeba base64 nebo něčím takovým. Budeš mít jistotu, že název je bezpečný a bude to dekódovatelné, takže to bude fungovat pořád stejně.

[Petr Tomášek]

To je ošetřené. V takovém případě to ten barcode obrázek vůbec nenageneruje, soubor v tempu neexistuje a getattr tudíž vrátí -ENOENT() - což je přesně to, jak se to má chovat.

Popravdě jsem tam ten check měl, ale pak jsem ho vyhodil, protože nevím, co všechno si do těch kódů nacpou za znaky, takže nechávám na gnu barcode, co z toho vygeneruje a co ne.

Njn, ale stejne bych tam nejaky test radeji dal...

Ono by se to dalo tunit dál, třeba teď to generuje jenom code93, ale daly by se tam jednoduše udělat podadresáře pro code39, code39 extended, code128, dva z pěti atd.

Dobrý nápad . Nechceš založit někde repozitář?

[limit_false]

Krásný hack

Zajímalo mě, co to udělá na readdir(): ls: reading directory m: Function not implemented

Reiser4 FS svého času podobnou funkcionalitu chtěl podporovat, ale s FUSE se to určitě programuje lépe.

[Filip Jirsák]

Lepší by bylo generovat ty čárové kódy vektorově (SVG pro Jasper). Když je uděláte bitmapově, budou se při zmenšení nebo zvětšení rozmazávat, což je přesně to, co čtečkám vadí (čtečky rozpoznávají hrany, tedy přechod bílá–černá nebo opačně).

[xvasek]

Rozumím, ale nerozmazávají se, škálují se dobře. Ghostcript je konvertuje ve dvoubitové barvě bez jakéokoli kostičkování a jasper taky nemá žádné pseudointeligentní škálování, takže vše OK.

[Filip Jirsák]

Pokud to z Jasperu rovnou tisknete na tiskárnu, pak je to OK. Ale problém je při vytváření PDF, kde to pak při zobrazení nebo tisku škáluje PDF prohlížeč. Tam už to záleží na prohlížeči, a třeba Adobe Reader se snaží rozpoznat, o jaký typ grafiky jde, a podle toho ji buď vyhlazuje nebo nevyhlazuje. Když to ve vašem případě trefí špatně, bude čárový kód rozmazaný. Když naopak bude mít obrázek velké DPI, aby ho prohlížeč nemusel zvětšovat, bude ho často muset zmenšovat a sousední bílé a černé čáry vám zprůměruje na šedou. Nejlíp si to vyzkoušíte, když si to PDF zobrazíte a zkusíte si ho zoomovat třeba po 10 procentních bodech. Při použití vektorů by měl být čárový kód čitelný do té doby, dokud vychází nejtenčí čára alespoň na 1 pixel.

Samozřejmě že pro vás může být bitmapa dostačující, ta moje připomínka je i pro ostatní, pokud by někdo chtěl čárové kódy generovat také do bitmapy.

[Josef Kufner]

Ta knihovna, co jsem odkazoval nahoře umí jak SVG, tak další pěkné formáty. Například HTML tabulku

[Karel Benák]

Jo generátory barcodů ... těch je 3 zadky, ale když potřebujete něco opravdu extra, třeba korektní generování GS1-128 kódů aby byly odlišitelné délkou proměnlivé šarže ... to chce už jinšího fištróna a upřímně řečeno, nepřijde mi, že by to moc programů ovládalo. Mám s tím své zkušenosti a nejsou moc lichotivé. Co si člověk neudělá, nemá.