abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 13:00 | Komunita

Při prvním spuštění Ubuntu 18.04 LTS (Bionic Beaver) je spuštěn nástroj Ubuntu Report. Pokud uživatel souhlasí, jsou pomocí tohoto nástroje odeslány do Canonicalu informace o daném počítači (doba instalace, počet procesorů, rozlišení displeje, velikost paměti, časová zóna, ...). V červnu byly zveřejněny první statistiky. Podrobnější statistiky jsou nově k dispozici na samostatné stránce.

Ladislav Hagara | Komentářů: 11
včera 01:00 | Pozvánky

O víkendu probíhá v Košicích pravidelné setkání příznivců otevřených technologií OSS Víkend. Na programu je řada zajímavých přednášek a workshopů.

Ladislav Hagara | Komentářů: 0
včera 00:11 | Nová verze

Byla vydána nová verze 1.3 otevřeného, licenčními poplatky nezatíženého, univerzálního ztrátového formátu komprese zvuku Opus (Wikipedie) a jeho referenční implementace libopus. Vylepšena byla například detekce, zda se jedná o řeč nebo o hudbu. Přidána byla podpora prostorového zvuku (immersive audio) dle plánovaného RFC 8486. Podrobnosti a zvukové ukázky na demo stránce.

Ladislav Hagara | Komentářů: 0
18.10. 22:33 | Nová verze

Bylo vydáno Ubuntu 18.10 s kódovým názvem Cosmic Cuttlefish (Kosmická sépie). Ke stažení jsou Ubuntu Desktop a Server, Ubuntu Cloud Images, Ubuntu Netboot, Kubuntu, Lubuntu a Lubuntu Alternate, Ubuntu Budgie, Ubuntu Kylin, Ubuntu MATE, Ubuntu Studio a Xubuntu. Podrobnosti v poznámkách k vydání.

Ladislav Hagara | Komentářů: 3
18.10. 18:33 | Nová verze

Byl vydán PostgreSQL ve verzi 11.0. Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
18.10. 17:33 | IT novinky

Nadace Raspberry Pi představila na svém blogu Raspberry Pi TV HAT, tj. rozšíření jednodeskového počítače Raspberry Pi umožňující příjem televizního vysílání DVB-T a DVB-T2. Cena rozšíření je 21,50 $.

Ladislav Hagara | Komentářů: 5
18.10. 17:07 | Nová verze

Vychází OpenBSD 6.4. Z řady novinek namátkou: podpora dalších architektur (arm64 např. dostal z Linuxu vypůjčený ovladač radeondrm), hypervizor vmm podporuje i qcow2 disky a šablony, jádro dokáže automaticky přepínat mezi dostupnými bezdrátovými sítěmi, sítě pracují o něco efektivněji, z bezpečnosti „přísaha byla doplněna odhalením“ (pledge(2) lze vhodně doplnit pomocí unveil(2)), SMT je ve výchozím stavu vypnutý, ale lze jej zapnout. Syntaxe nastaveni OpenSMTPD se změnila. S vydáním vychází také nová verze LibreSSL - 2.8.2.

Daniel Čižinský | Komentářů: 5
17.10. 23:15 | IT novinky

Firma Raptor Computing Systems, která stojí také za pracovní stanicí Talos II, představila levnější desku Blackbird s podporou jednoho 4-/8jádrového CPU POWER9 Sforza a formátem microATX; bližší specifikace jsou ve wiki výrobce.

Fluttershy, yay! | Komentářů: 27
17.10. 22:11 | Zajímavý projekt

Byla vydána verze 1.0 svobodné federalizované platformy pro sledování a sdílení videí, alternativy YouTube s podporou P2P, PeerTube (Wikipedie). Za vývojem PeerTube stojí nezisková organizace Framasoft snažící se mimo jiné nahradit svými svobodnými Frama službami služby společnosti Google (De-google-ify Internet).

Ladislav Hagara | Komentářů: 1
17.10. 19:44 | Zajímavý projekt

Společnost System76 prodávající počítače s Pop!_OS nebo Ubuntu plánuje prodej vlastního open source počítače s názvem Thelio. Informací je poskrovnu. Na Twitteru byla představena open source rozšířující deska (daughterboard), která by měla převzít funkce proprietárního softwaru na základní desce (motherboard).

Ladislav Hagara | Komentářů: 2
Přispíváte osobně k vývoji svobodného softwaru?
 (40%)
 (43%)
 (24%)
 (23%)
 (11%)
 (37%)
Celkem 253 hlasů
 Komentářů: 12, poslední 17.10. 21:18
Rozcestník

Generujeme barcode přes FUSE (fakt)

1.7.2015 20:25 | Přečteno: 1775× | Václavův software | Výběrový blog | poslední úprava: 1.7.2015 20:25

Protože tady dlouho nebyl žádný pořádný linuxový blog, žádný pěkný hack, nebo zajímavý kus kódu, přináším toto vše v jednom zápisku. Ukážeme si, že napsat vlastní filesystém dnes zvládne i úplný noob, jako jsem třeba já, má to celé asi 100 řádků. A i když by se mohlo zdát, že "barcodefs" je poněkud ujetý způsob, jak generovat obrázky s barocode, nějakou skrytou poetiku to má.

Kupodivu zadání není žádným akademickým problémem, ale z reality vzešlým požadavkem. Interní generátor code93 v našem skvělém systému je rozbitý, generuje nepřečtitelné kódy. Existuje určitě mnoho způsobů, jak problém vyřešit - například si kódy nagenerovat bokem a pak je použít (a pak smazat), nebo se hrabat v interním generátoru, ale já jsem po zralé úvaze přišel k tomu, že si prostě udělám filesystém, který bude mít všechny kódy už v sobě a uživatel si je bude jenom používat, prostě aby soubor s kódem získal něčím jako:

cp /media/barcodefactory/123456.png .

...a všechny (myslitelné!) takové soubory už by tam prostě z pohledu uživatele byly.

Jako správný hacker vezmeme základní nástroj, kterým je samozřejmě perl, i když implemetace řekněmě v C by byla velmi podobná. Perl má pro FUSE knihovnu, které se překvapivě jmenuje perl-Fuse, nainstalujeme a jdeme na to.

Aby filesystém fungoval, musí umět překvapivě málo. Začneme nějakou perlovu omáčkou a jdeme rovnou na to. V našem filesystému budeme implementovat funkce getattr, open, read, release (pro close()) a ... to je vše! Jak teda na to?

#!/usr/bin/perl

use strict;
use warnings;
use Fuse;
use POSIX qw(ENOENT EISDIR EINVAL O_WRONLY);

my ($tmp, $mount) = @ARGV if @ARGV;
($tmp && $mount) or die "Usage: ", $0, " temp_directory mount-point/", "\n";

my %files;

Fuse::main(
    mountpoint  => $mount,
    mountopts   => "allow_other",
    getattr     => \&getattr,
    open        => \&open,
    read        => \&read,
    release     => \&release,
    threaded    => 0
);

...takže jsme zadefinovali odkazy svoje funkce, zadali pár parametrů a definovali hash %files, kde budeme skladovat handlery pro naše soubory. Potřebujeme něco, co bude generovat barcode, vezmeme si GNU barcode a ghostscript, jejichž kombinace nám udělá krásný .png soubor.

sub generate {
    my $barcode = shift;
    system "barcode -n -b \"$barcode\" -e code93 -E | gs -q -dSAFER -dBATCH -dNOPAUSE -dEPSCrop -sDEVICE=pnggray -r100x30 -sOutputFile=\"$tmp/$barcode.png\" -";
}

První funkce, na kterou se podíváme, je getattr - v perlu vrací to stejné funkce stat(). Toto je volání, které musí dát nějakou smysluplnou odpověď, jinak se uživatel nedostane k souborům. Navíc musíme odpovědět i pro samotný kořenový adresář. U jednotlivých souborů odpovídáme pouze na .png soubory, nic jiného "nemáme". Trochu problém je v tom, že musíme vracet délku souboru, takže už teď si jej musíme nagenerovat, zatím trochu zbytečně.

sub getattr {
    my $path = shift;
    return (-ENOENT()) unless $path;
    $path =~ s#^/##;
    $path = '.' unless length($path);

    if ($path eq ".") {
        return (0, 0, 0040555, 1, 0, 0, 0, 0, 0, 0, 0, 4096, 0);
    }

    elsif ($path =~ /.png$/) {
        # Nageneruju soubor, potrebujeme znat delku.
        my $barcode = $path;
        $barcode =~ s/.png$//;
        generate($barcode);
        $barcode =~ s/.png$//;
        return stat("$tmp/$barcode.png");
    }
    else {
        return (-ENOENT());
    }
}

Další funkcí je potom open. Bohužel musíme generovat soubor znovu, ale co už, trvá to jenom okolo desetiny sekundy. Zase povolíme otevřít jenom .png. Výsledný soubor už ale otevřeme a zapamatujeme si filehandle do hashe %files, ať jej neotevíráme furt dokola. Protože jedeme bez threadů, nemusíme se bát, že se něco rozbije, jinak by tady byl potenciál otevřít soubor, který zrovna někdo jiný generuje, ale takto je to OK.

sub open {
    my $path = shift;
    return (-ENOENT()) unless $path;
    $path =~ s#^/##;
    $path = '.' unless length($path);
    if ($path =~ /.png$/) {
        # Nageneruju soubor znovu - kdyby nekdo sel bez getaatr.
        my $barcode = $path;
        $barcode =~ s/.png$//;
        generate ($barcode);
        open my $fh, "<", "$tmp/$barcode.png" || print "open failed";
        binmode $fh;
        $files{$barcode} = $fh;
        return 0;
    }
    else {
        return (-ENOENT());
    }
}

Takže máme otevřeno, teď bude asi uživatel chtít číst. OK, předhodíme mu v zásadě obsah nagenerovaného souboru a mapujeme to 1:1. My už máme soubor otevřený, takže jenom použijeme uloženou filehandle v hashi %files.

sub read {
    my ($path, $bytes, $offset) = @_;
    my $barcode = $path;
    $barcode =~ s#^/##;
    $barcode =~ s/.png$//;
    my $buffer;
    my $status = read ($files{$barcode}, $buffer, $bytes, $offset);
    if ($status > 0) {
        return $buffer;
    }
    return $status;
}

No a nakonec - a to je fikané - nám FUSE řekne, že tento soubor už nikdo nepoužívá. Udělá to tak, že zavolá "release". Tak po sobě uklidíme.

sub release {
    my $path = shift;
    my $barcode = $path;
    $barcode =~ s#^/##;
    $barcode =~ s/.png$//;
    close $files{$barcode};
    unlink "$tmp/$barcode.png";
    return 0;
}
Toť vše! Barkódy můžeme z filesystému "vykopírovat", ale můžeme je taky klidně použít například jako vstup do jiného programu. Normálně takto generované soubory umístím do jasper layoutu a jasper si spokojeně chroustá a vysype PDF s čitelnými barkódy. Celý kód zde, pokud to někdo chcete použít, dávám tomu BSD licenci.
#!/usr/bin/perl

use strict;
use warnings;
use Fuse;
use POSIX qw(ENOENT EISDIR EINVAL O_WRONLY);

my ($tmp, $mount) = @ARGV if @ARGV;
($tmp && $mount) or die "Usage: ", $0, " temp_directory mount-point/", "\n";

my %files;

sub getattr {
    my $path = shift;
    return (-ENOENT()) unless $path;
    $path =~ s#^/##;
    $path = '.' unless length($path);

    if ($path eq ".") {
        return (0, 0, 0040555, 1, 0, 0, 0, 0, 0, 0, 0, 4096, 0);
    }

    elsif ($path =~ /.png$/) {
        # Nageneruju soubor, potrebujeme znat delku.
        my $barcode = $path;
        $barcode =~ s/.png$//;
        generate($barcode);
        $barcode =~ s/.png$//;
        return stat("$tmp/$barcode.png");
    }
    else {
        return (-ENOENT());
    }
}

sub open {
    my $path = shift;
    return (-ENOENT()) unless $path;
    $path =~ s#^/##;
    $path = '.' unless length($path);
    if ($path =~ /.png$/) {
        # Nageneruju soubor znovu - kdyby nekdo sel bez getaatr.
        my $barcode = $path;
        $barcode =~ s/.png$//;
        generate ($barcode);
        open my $fh, "<", "$tmp/$barcode.png" || print "open failed";
        binmode $fh;
        $files{$barcode} = $fh;
        return 0;
    }
    else {
        return (-ENOENT());
    }
}

sub read {
    my ($path, $bytes, $offset) = @_;
    my $barcode = $path;
    $barcode =~ s#^/##;
    $barcode =~ s/.png$//;
    my $buffer;
    my $status = read ($files{$barcode}, $buffer, $bytes, $offset);
    if ($status > 0) {
        return $buffer;
    }
    return $status;
}

sub release {
    my $path = shift;
    my $barcode = $path;
    $barcode =~ s#^/##;
    $barcode =~ s/.png$//;
    close $files{$barcode};
    unlink "$tmp/$barcode.png";
    return 0;
}

sub generate {
    my $barcode = shift;
    system "barcode -n -b \"$barcode\" -e code93 -E | gs -q -dSAFER -dBATCH -dNOPAUSE -dEPSCrop -sDEVICE=pnggray -r100x30
-sOutputFile=\"$tmp/$barcode.png\" -";
}

fork and exit;

Fuse::main(
    mountpoint  => $mount,
    mountopts => "allow_other",
    getattr     => \&getattr,
    open        => \&open,
    read        => \&read,
    release     => \&release,
    threaded    => 0
);
       

Hodnocení: 100 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

1.7.2015 21:30 RM
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Paráda,díky!
1.7.2015 21:48 Tomáš
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Dávám bod za slovo "nepřečtitelné".

A ty ukázky prošly obfuskátorem?
xvasek avatar 1.7.2015 23:29 xvasek | skóre: 21 | blog: | Zlín
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Ale no tak, vždyť je to krásný kód, ani nepoužívám implicitní proměnnou a je to i "strict". :-)
2.7.2015 09:28 prqek | blog: prqek
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
A ty ukázky prošly obfuskátorem?
Ne, je to napsané v perlu :)
1.7.2015 21:49 RM
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Co je tohle?

(0, 0, 0040555, 1, 0, 0, 0, 0, 0, 0, 0, 4096, 0)
1.7.2015 21:59 RM
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
ok, seznam co vrací stat(); jinej význam to tedy asi nemá
xvasek avatar 1.7.2015 23:21 xvasek | skóre: 21 | blog: | Zlín
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Čert ví, co které to číslo konkrétně znamená, ale v podstatě to sumárně říká, že to je adresář s nějakými právy a je možno ho číst.
1.7.2015 23:37 Pavel
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Pěkný!

Ještě teda si řikam, že to napsat jako webovou věc, tak si kód člověk stáhne odkudkoliv a klidně i z Widlí, ale je mi jasný, že implementace by pak byla dost nuda.
Josef Kufner avatar 2.7.2015 01:44 Josef Kufner | skóre: 68
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Takových už se po webu válí hromady. Co však stojí za zmínku je knihovna qrcode-generator, která umožňuje generovat QR kódy v JS v prohlížeči. Lze to velmi snadno integrovat do prakticky jakékoliv aplikace a promění to jednoduchý element v hromadu čtverečků.
Hello world ! Segmentation fault (core dumped)
xkucf03 avatar 2.7.2015 08:55 xkucf03 | skóre: 46 | blog: xkucf03
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Na web zase potřebuješ HTTP server, nějaký skriptovací modul nebo CGI, většinou DNS a síťování... Já si naopak říkám, že by se mnohem víc služeb/zdrojů dalo dělat přes souborový systém -- je to dobré API, standardizované, umí s ním pracovat libovolná aplikace, dá se procházet/poznávat pomocí již existujících a jednoduchých nástrojů (mc, cd, ls, správci souborů v GUI), je hodně flexibilní (stromová struktura uzlů, které můžeš číst, zapisovat... máš tam i rozšířené atributy, přes které se dají předávat další metadata). Chci si udělat takové např. pro svůj blog -- pak bych mohl psát články v libovolném editoru a nepotřeboval bych k tomu WWW prohlížeč.
Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-Výuka.cz, Nekuřák.net
Petr Tomášek avatar 2.7.2015 07:41 Petr Tomášek | skóre: 37 | blog: Vejšplechty
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Já nevím, nikde tam nevidím ošetření zadání nechtěných znaků. Dost blbé z hlediska bezpečnosti. To je takový problém tam přidat jeden regex, něco jako (zjednodušeně zapsáno): [0-9]{1,30}.png ?
multicult.fm | monokultura je zlo | welcome refugees!
xvasek avatar 2.7.2015 10:07 xvasek | skóre: 21 | blog: | Zlín
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
To je ošetřené. :-) V takovém případě to ten barcode obrázek vůbec nenageneruje, soubor v tempu neexistuje a getattr tudíž vrátí -ENOENT() - což je přesně to, jak se to má chovat.

Popravdě jsem tam ten check měl, ale pak jsem ho vyhodil, protože nevím, co všechno si do těch kódů nacpou za znaky, takže nechávám na gnu barcode, co z toho vygeneruje a co ne.

Ale máš pravdu, že to je chyba, protože takto by se to dalo například exploitnout - do názvu souboru se dají vložit uvozovky a nějaký další příkaz za rouru nebo středník. Holt to není zabezpečené a pořád obecně platí, že by člověk neměl kopírovat kód z internetu. :-)

Ono by se to dalo tunit dál, třeba teď to generuje jenom code93, ale daly by se tam jednoduše udělat podadresáře pro code39, code39 extended, code128, dva z pěti atd.
Josef Kufner avatar 2.7.2015 11:24 Josef Kufner | skóre: 68
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Když vytváříš název dočasného souboru, tak prožeň generovaný kód třeba base64 nebo něčím takovým. Budeš mít jistotu, že název je bezpečný a bude to dekódovatelné, takže to bude fungovat pořád stejně.
Hello world ! Segmentation fault (core dumped)
Petr Tomášek avatar 2.7.2015 14:55 Petr Tomášek | skóre: 37 | blog: Vejšplechty
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
To je ošetřené. :-) V takovém případě to ten barcode obrázek vůbec nenageneruje, soubor v tempu neexistuje a getattr tudíž vrátí -ENOENT() - což je přesně to, jak se to má chovat.

Popravdě jsem tam ten check měl, ale pak jsem ho vyhodil, protože nevím, co všechno si do těch kódů nacpou za znaky, takže nechávám na gnu barcode, co z toho vygeneruje a co ne.

Njn, ale stejne bych tam nejaky test radeji dal...

Ono by se to dalo tunit dál, třeba teď to generuje jenom code93, ale daly by se tam jednoduše udělat podadresáře pro code39, code39 extended, code128, dva z pěti atd.

Dobrý nápad ;-). Nechceš založit někde repozitář? ;-)

multicult.fm | monokultura je zlo | welcome refugees!
limit_false avatar 2.7.2015 17:50 limit_false | skóre: 23 | blog: limit_false
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Krásný hack :-)

Zajímalo mě, co to udělá na readdir(): ls: reading directory m: Function not implemented

Reiser4 FS svého času podobnou funkcionalitu chtěl podporovat, ale s FUSE se to určitě programuje lépe.
When people want prime order group, give them prime order group.
3.7.2015 09:21 Filip Jirsák
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Lepší by bylo generovat ty čárové kódy vektorově (SVG pro Jasper). Když je uděláte bitmapově, budou se při zmenšení nebo zvětšení rozmazávat, což je přesně to, co čtečkám vadí (čtečky rozpoznávají hrany, tedy přechod bílá–černá nebo opačně).
xvasek avatar 3.7.2015 11:09 xvasek | skóre: 21 | blog: | Zlín
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Rozumím, ale nerozmazávají se, škálují se dobře. Ghostcript je konvertuje ve dvoubitové barvě bez jakéokoli kostičkování a jasper taky nemá žádné pseudointeligentní škálování, takže vše OK.
3.7.2015 11:38 Filip Jirsák
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Pokud to z Jasperu rovnou tisknete na tiskárnu, pak je to OK. Ale problém je při vytváření PDF, kde to pak při zobrazení nebo tisku škáluje PDF prohlížeč. Tam už to záleží na prohlížeči, a třeba Adobe Reader se snaží rozpoznat, o jaký typ grafiky jde, a podle toho ji buď vyhlazuje nebo nevyhlazuje. Když to ve vašem případě trefí špatně, bude čárový kód rozmazaný. Když naopak bude mít obrázek velké DPI, aby ho prohlížeč nemusel zvětšovat, bude ho často muset zmenšovat a sousední bílé a černé čáry vám zprůměruje na šedou. Nejlíp si to vyzkoušíte, když si to PDF zobrazíte a zkusíte si ho zoomovat třeba po 10 procentních bodech. Při použití vektorů by měl být čárový kód čitelný do té doby, dokud vychází nejtenčí čára alespoň na 1 pixel.

Samozřejmě že pro vás může být bitmapa dostačující, ta moje připomínka je i pro ostatní, pokud by někdo chtěl čárové kódy generovat také do bitmapy.
Josef Kufner avatar 3.7.2015 14:35 Josef Kufner | skóre: 68
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Ta knihovna, co jsem odkazoval nahoře umí jak SVG, tak další pěkné formáty. Například HTML tabulku :-D
Hello world ! Segmentation fault (core dumped)
26.7.2015 16:15 Karel Benák | skóre: 8 | blog: benyho
Rozbalit Rozbalit vše Re: Generujeme barcode přes FUSE (fakt)
Jo generátory barcodů ... těch je 3 zadky, ale když potřebujete něco opravdu extra, třeba korektní generování GS1-128 kódů aby byly odlišitelné délkou proměnlivé šarže ... to chce už jinšího fištróna a upřímně řečeno, nepřijde mi, že by to moc programů ovládalo. Mám s tím své zkušenosti a nejsou moc lichotivé. Co si člověk neudělá, nemá.
Láska je jako prd, když hodně tlačiš tak z toho bude ...

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.