abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 23:55 | IT novinky

Společnost StartCom oficiálně oznámila, že jako certifikační autorita končí. Od 1. ledna 2018 přestane vydávat nové certifikáty a následující 2 roky bude poskytovat OCSP a CRL. Počátkem roku 2020 budou všechny platné certifikáty zneplatněny.

Ladislav Hagara | Komentářů: 0
včera 22:00 | IT novinky

Hodnota Bitcoinu, decentralizované kryptoměny, překonala hranici 8 000 dolarů [reddit].

Ladislav Hagara | Komentářů: 0
včera 21:55 | Zajímavý software

Byla vydána verze 10.0 linuxové distribuce Raspberry Digital Signage. Jedná se o distribuci pro jednodeskové počítače Raspberry Pi určenou k prezentačním účelům (veletrhy, prodejny, ...). Po naběhnutí systému je spuštěn webový prohlížeč v režimu celé obrazovky a vybraná prezentace. Nejnovější Raspberry Digital Signage vychází z distribuce Raspbian Stretch.

Ladislav Hagara | Komentářů: 0
včera 13:33 | Zajímavý software

Společnost Google na svém blogu věnovaném open source představila container-diff, nástroj pro analýzu a porovnávání Docker kontejnerů. Zdrojové kódy jsou k dispozici pod licencí Apache 2.0.

Ladislav Hagara | Komentářů: 0
včera 08:00 | Komunita

Flatpak Workshop proběhne ve středu 29. listopadu od 10:00 v Brně. V dopolední přednáškové části se účastníci seznámí s Flatpakem, se specifiky pro aplikace napsané v Qt a GTK+, portály, které integrují aplikace do systému, a na závěr, jak dostat aplikaci do Flathubu, což je momentálně největší centralizovaný repozitář Flatpaků. V odpolední části si pak mohou za pomoci lektorů zkusit nějakou aplikaci zabalit pro Flatpak. Workshop je určen pro 20 účastníků. Nutná je registrace.

Ladislav Hagara | Komentářů: 5
včera 07:00 | Zajímavý článek

Software Freedom Law Center a Software Freedom Conservancy jsou organizace zaměřené na podporu svobodných/open-source projektů: SFLC poskytuje právní konzultace, SFC mj. také zázemí. SFC upozornila, že ze strany SFLC vůči ní proběhly právní kroky směřující k odebrání obchodní známky. SFLC v reakci tvrdí, že se jedná o logický krok, protože obchodní známky jsou si podobné, a SFC dlouhodobě nekooperuje. Brian Lunduke situaci shrnuje včetně ohlasů Neila McGoverna a Matthewa Garretta. Podle nich je Eben Moglen ze SFLC v konfliktu se zájmy komunity.

Fluttershy, yay! | Komentářů: 2
včera 06:00 | Komunita

MariaDB Foundation, nadace stojící za vývojem open source relační databáze MariaDB, oznámila, že Microsoft se stal jejím členem a platinovým sponzorem. Cílem Microsoftu je optimalizace MariaDB pro cloudovou platformu Microsoft Azure.

Ladislav Hagara | Komentářů: 0
16.11. 23:44 | IT novinky

Společnosti Dell a Canonical společně představily 5 nových počítačů Dell Precision s předinstalovaným Ubuntu. Jedná se o 4 notebooky a 1 all-in-one počítač. Cena počítačů s Ubuntu je o 100 dolarů nižší než jejich cena s Windows 10.

Ladislav Hagara | Komentářů: 14
16.11. 22:55 | Nová verze

Po pěti měsících vývoje od vydání verze 4.8 byla vydána nová verze 4.9 svobodného open source redakčního systému WordPress. Kódové označením Tipton bylo vybráno na počest amerického jazzového muzikanta a kapelníka Billyho Tiptona.

Ladislav Hagara | Komentářů: 0
16.11. 22:11 | Pozvánky

Spolek OpenAlt zve příznivce otevřených technologií a otevřeného přístupu na 146. brněnský sraz, který proběhne v pátek 17. listopadu od 18:00 hodin v restauraci Bogota na Nových Sadech.

Ladislav Hagara | Komentářů: 0
Jak se vás potenciálně dotkne trend odstraňování analogového audio konektoru typu 3,5mm jack z „chytrých telefonů“?
 (9%)
 (1%)
 (1%)
 (1%)
 (74%)
 (14%)
Celkem 699 hlasů
 Komentářů: 36, poslední 17.11. 18:43
    Rozcestník

    Filtrujme čtivé texty z Projektu Gutenberg 6

    27. 4. 2016 | Karel Kulhavý | Návody | 1575×

    V minulém díle jsem naznačil, že ze strany nesouvisející internacionalizace operačního systému přijde neočekávaný problém. Tuto interakci si předvedeme.

    Internacionalizace umožnila mimo jiné to, že spousta lidí na Zemi si může nechat vypisovat chybové hlášky operačního systému ve svém rodném jazyce:

    $ ( for a in $(locale -a|grep -i utf); do LC_ALL="$a" . owhxeddo; done ) 2>&1 | sort | uniq
    
    bash: owhxeddo: 그런 파일이나 디렉터리가 없습니다
    bash: owhxeddo: そのようなファイルやディレクトリはありません
    bash: owhxeddo: Adresár alebo súbor neexistuje
    bash: owhxeddo: Adresář nebo soubor neexistuje
    bash: owhxeddo: Arquivo ou diretório não encontrado
    bash: owhxeddo: Aucun fichier ou dossier de ce type
    bash: owhxeddo: Bestand of map bestaat niet
    bash: owhxeddo: Böyle bir dosya ya da dizin yok
    bash: owhxeddo: Datei oder Verzeichnis nicht gefunden
    bash: owhxeddo: Datoteka ali imenik s tem imenom ne obstaja
    bash: owhxeddo: El fitxer o directori no existeix
    bash: owhxeddo: Filen eller katalogen finns inte
    bash: owhxeddo: File o directory non esistente
    bash: owhxeddo: Ingen sådan fil eller filkatalog
    bash: owhxeddo: Ingen slik fil eller filkatalog
    bash: owhxeddo: Không có tập tin hoặc thư mục như vậy
    bash: owhxeddo: Necun tal file o directorio
    bash: owhxeddo: Nema takve datoteke ili direktorija
    bash: owhxeddo: Nie ma takiego pliku ani katalogu
    bash: owhxeddo: Nincs ilyen fájl vagy könyvtár
    bash: owhxeddo: No existe el fichero o el directorio
    bash: owhxeddo: Non hai tal ficheiro ou directorio
    bash: owhxeddo: No such file or directory
    bash: owhxeddo: Tidak ada berkas atau direktori seperti itu
    bash: owhxeddo: Tiedostoa tai hakemistoa ei ole
    bash: owhxeddo: Toks failas ar aplankas neegzistuoja
    bash: owhxeddo: Δεν υπάρχει τέτοιο αρχείο ή κατάλογος
    bash: owhxeddo: Немає такого файла або каталогу
    bash: owhxeddo: Нет такого файла или каталога
    bash: owhxeddo: Няма такъв файл или директория
    bash: owhxeddo: файл ці тэчка ня йснуе
    bash: owhxeddo: 沒有此一檔案或目錄
    bash: owhxeddo: 没有那个文件或目录
    

    V čem je ale problém? Úmysl byl, aby se dalo měnit nastavení jazyka, to se měnit dá. Jenže kromě zamýšleného efektu nastal i efekt nezamýšlený, anglicky tzv. unintended consequences. Tato wikipedijní stránka mi přijde jako zábavné čtivo sama o sobě.

    Počítač musel totiž začít zpracovávat texty v kódování UTF-8, kde znaky mají třeba 3 bajty délky a ještě hůře, jejich délka je proměnlivá. Kde bylo dříve možné použít velmi rychlé vyhledávací tabulky pro 1 bajt (256 položek), která se vejde i do velmi rychlé L1 cache s náhodným přístupem v řádu jednotek nanosekund, teď by byla třeba příliš rozměrná tabulka pro 4 bajty (4 miliardy položek), která by se často nevešla ani do RAM. Musela by se umístit na pevný disk, kde náhodný přístup trvá řádově milisekundy, je tedy řádově miliónkrát pomalejší! Proto se musí začít používat komplexnější algoritmy, které jsou pomalejší. Zkusíme si tedy, o kolik rychleji to poběží, když před různé příkazy v této pipeline zařadíme LC_ALL=C, které toto komplexní chápání znaků vypíná:

    $ ( time cut -f 7 -d ' ' clean2.txt  |sort -n |uniq -c | sort -nrk1 >/dev/null ) 2>&1 |grep user
    user	0m4.396s
    
    $ ( time LC_ALL=C cut -f 7 -d ' ' clean2.txt  |sort -n |uniq -c | sort -nrk1 >/dev/null ) 2>&1 |grep user
    user	0m4.329s
    
    $ ( time cut -f 7 -d ' ' clean2.txt  |LC_ALL=C sort -n |uniq -c | sort -nrk1 >/dev/null ) 2>&1 |grep user
    user	0m3.832s
    
    $ ( time cut -f 7 -d ' ' clean2.txt  |sort -n |LC_ALL=C uniq -c | sort -nrk1 >/dev/null ) 2>&1 |grep user
    user	0m4.032s
    
    $ ( time cut -f 7 -d ' ' clean2.txt  |sort -n |uniq -c | LC_ALL=C sort -nrk1 >/dev/null ) 2>&1 |grep user
    user	0m1.360s
    
    $ ( time LC_ALL=C cut -f 7 -d ' ' clean2.txt  |LC_ALL=C sort -n |LC_ALL=C uniq -c | LC_ALL=C sort -nrk1 >/dev/null ) 2>&1 |grep user
    user	0m0.575s

    Ano, řekněme to nahlas: zavedení internacionalizace mělo za následek, že si v bashi, Firefoxu atd. chybové hlášky a menu můžeme nastavit česky, a současně před spoustu příkazů v bashových skriptech musíme psát LC_ALL=C, jinak nám poběží výrazně pomaleji.

    V příštím díle využijeme tuto znalost k urychlenému třídění souborů podle délky, výrobě statistiky délek a inspekci, co nejdelší soubory obsahují.

           

    Hodnocení: 45 %

            špatnédobré        

    Nástroje: Tisk bez diskuse

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    27.4.2016 14:23 GeorgeWH | skóre: 36
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    takze dnes nebudeme nic filtrovat? skoda :(
    27.4.2016 14:25 xm | skóre: 36 | blog: Osvobozený blog | Praha
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    Tenhle seriál musí být nějaký advanced trolling, jinak to nevidím... nechce se mi věřit, že by člověk který mimo jiné "vynalezl" Ronju, byl až takové pako :-)
    Svoboda je tím nejdůležitějším, co máme. Nenechte se o ní připravit, podporujte Pirátskou stranu!
    27.4.2016 16:33 hejkal
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    Pouze predstira slabomyslnost, aby mohl ukazat sokujici paralelu mezi narustajici komplexnosti dnesniho sveta a programovanim trivialit v bashi. A to se mu dari, uprimne priznam, ze pred serialem jsem si to vubec neuvedomoval a uz nekdy po patem dilu na mne zaccala padat takova jakoby uzkost...
    xxxs avatar 30.4.2016 15:17 xxxs | skóre: 18 | blog: vetvicky
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    tiez mi to tak pride.
    Bedňa avatar 27.4.2016 19:27 Bedňa | skóre: 33 | blog: Žumpa | Horňany
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    Je to taký ROOT komix v bashi, nijak to neprekvapí, ale človek sa na chvíľu ....
    Pokecajte si s umelou stupiditou na http://www.kernelultras.org/
    Fluttershy, yay! avatar 27.4.2016 19:43 Fluttershy, yay! | skóre: 81 | blog:
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    Poruchu osobnosti mám schizoidní,
    diagnostikovala mně ji psycholožka,
    nejsem schopen styku se ženou.
    27.4.2016 20:15 Michal Kubeček | skóre: 71 | Luštěnice
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6

    …podiví?

    P.S.: Nechcete, doufám, říct, že nás ještě čekají "remixy"?

    Jendа avatar 28.4.2016 16:12 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    P.S.: Nechcete, doufám, říct, že nás ještě čekají "remixy"?
    Hele, to je super nápad, začnu nad tím přemýšlet! Chcete seriál „nejhorší věc, co jsem napsal v Bashi“? Nabízím:
    • Driver pro lasercutter
    • Keystream guesser na GSM (byl tak nepoužitelně pomalý, že jsem ho nikdy neviděl fungovat)
    • Detekce blesků
    Why did the multithreaded chicken cross the road? to To other side. get the
    29.4.2016 10:12 Remix
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    27.4.2016 22:25 Juraj
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    najzabavnejsie k tomuto serialu je sledovanie diskusie :) ...ale vazne - co sa stazujete? stazovat sa na kvalitu serialu, jeho zaujimave rozdelenie na jednotlive kapitoly, alebo cokolvek by mal mat pravo len ten kto bude schopny v komentari napisat bashovy skript, ktory bude funkcne zhodny s finalnou verziou ku ktorej sa autor snazi dopracovat. Podla chlapackych reci ktore tu citam by ste to mali zvaldnut vsetci ... tak sa ukazte :)
    kyknos avatar 27.4.2016 23:35 kyknos | skóre: 18 | blog: Quid novi? | Ranša Rosa
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    Tak stačí se podívat v gitu na ten software, co někteří z nich produkují :D
    So the Nationalists and the Socialists have the same policy on Brexit. They should get together and form a...
    Bystroushaak avatar 28.4.2016 11:14 Bystroushaak | skóre: 32 | blog: Bystroushaakův blog | Praha
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    Většina lidí si imho stěžuje na dost absurdní rozkouskování, kde díly mají třeba dva, nebo tři odstavce. Tímhle tempem je reálné, že se někteří konce seriálu ani nedožijí.
    28.4.2016 11:40 Michal Kubeček | skóre: 71 | Luštěnice
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    Útěcha je, že s délkou dílu se nelze libovolně přiblížit nule, protože pod jeden znak to prostě nepůjde. Na druhou stranu ale lze prodlužovat intervaly mezi díly, takže ani při pevné celkové délce nemáme horní odhad celkové doby. :-)
    28.4.2016 11:36 Michal Kubeček | skóre: 71 | Luštěnice
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    Příklady jednodušších a efektivnějších řešení už tu v komentářích byly. Napsat ekvivalent finální verze půjde jen těžko, když nevíme, co by měla vlastně dělat (a jestli vůbec má jít o jeden skript - spíš ne). Jediné, co je celkem jisté, že určitě ne to, co je napsáno v názvu seriálu…
    28.4.2016 15:18 Anastázina
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    No, stokrát radši si čtu Clocka, než neustálou Kubečkovu mentální masturbaci a honění si ega. Clock už totiž něco skutečně dokázal...
    28.4.2016 15:45 Michal Kubeček | skóre: 71 | Luštěnice
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    …a přesně to je podstata problému. Kdyby něco takového publikoval v blogu nějaký začátečník, který právě objevil kouzlo unixových textových utilitek a chce se podělit o svou radost, zasloužil by si povzbuzení a ne výsměch. Když to někdo, kdo už by měl mít rozum a zkušenosti, vydává jako sérii článků, je to přinejmenším zarážející.
    28.4.2016 17:48 krocan
    Rozbalit Rozbalit vše Re: Filtrujme čtivé texty z Projektu Gutenberg 6
    Asi tak - Clock se nam treba snazi namluvit, ze o existenci locale se dozvedel pred tydnem, coz je zjevny nesmysl. Proste je trochu vystredni a dela si prdel, nakonec proc ne, ale ze to redakce vydava po pulstrankach jako dily serialu, kdyz nektere nepokryji ani jeden cely bash prikaz, to je otazka.

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.