Filtrujme čtivé texty z Projektu Gutenberg 5

20. 4. 2016 | Karel Kulhavý | Návody | 10272×

V minulém díle jsme viděli, jak i u jednoduchého unixového příkazu může vzniknout nečekaný problém při použití, zcela mimo doménu jeho působnosti. Existuje elegantní prevence takových omylů?

Další možnost prevence je před zpracováním dat vytvořit vědeckou hypotézu o nich (žádný řádek nezačíná mezerou), a tu se pak pomocí experimentu snažit potvrdit nebo vyvrátit. Poslední dvě uvedené metody jsou ale komplexní a komplexitu práce s IT ještě zvyšují.

Tento modelový incident je dle mého názoru pěknou ukázkou jevu, jak komplexní řešení (IT) problému (tužka a papír jsou příliš pomalé, neohrabané při posílání na dálku atd.) zanáší náš život komplexitou. Americký vědec, antropolog Dr. Joseph Tainter, profesor na Department of Environment and Society na Utah State University (vystudoval University of California Berkeley, známou např. OS BSD) tento jev zkoumá. Ve svých videopřednáškách (mirror) na YouTube vysvětluje, jak tato akumulace komplexity nakonec běžně způsobuje pády civilizací, které původně z této komplexity, sloužící k řešení problémů, profitovaly. A že z tohoto hlediska je naše civilizace v úplně typické fázi před kolapsem.

Po odbočce k civilizačnímu nadhledu tento problém vyřešíme přídavným příkazem sed, který mezery na začátku řádku odfiltruje. Stříška značí začátek řádky. Při práci se sed, grep, awk apod. je třeba dávat pozor, že u každého příkazu je jinak, před které tyhle speciální znaky se dávají obrácená lomítka a před které ne, a také že shell ta obrácená lomítka někdy sní a někdy ne. Pokud je sní, musí se dát dvojitě. V našem případě jsme obrácená lomítka naštěstí nepotřebovali vůbec.

sed -e 's/^ //g' clean.txt > clean2.txt

A teď už může přijít zlatý hřeb: jak bývá dle mé zkušenosti typické pro Unix a Linux, s vynaložením neúměrného množství úsilí se nám konečně podařilo udělat jednoduchou věc, na kterou specificky existuje příkaz – odfiltrovat sedmý sloupec ze souboru:

cut -f 7 -d ' ' clean2.txt

4608764
4315118
597079
274
220594
512351
629627
346597
183018
80
328835
60059
427785
871780
3916362
[...]

Na zlatý hřeb už jen pověsíme pár dalších příkazů a objeví se nám statistika. -n říká, že čísla se mají řadit číselně a ne abecedně, 10 je tedy po 2 a ne před ní. uniq je z anglického unique, tedy „jedinečný“ – bere seřazený vstup, kde opakující se vstupy jsou v kuse za sebou, a z těch pustí vždy jen jeden. Přepínač -c ale způsobí, že se k tomu ještě navíc spočítá, kolik jich bylo. Dalšímu sortu řekneme, aby obrátil pořadí pomocí -r. Přepínač -k1 znamená klíč v prvním sloupci, tedy řadíme podle počtu opakování. A head -n 20 je tu proto, aby se nám hezky useklo jen prvních 20 řádek článku.

$ cut -f 7 -d ' ' clean2.txt  |sort -n |uniq -c | sort -nrk1 | head -n 20
     23 11009
     15 12911
     13 21607
     12 12888
     12 12867
      9 1405
      9 12927
      9 12900
      9 12897
      9 12887
      8 21586
      8 12891
      8 12858
      7 12912
      7 12879
      7 12864
      6 59
      6 12906
      6 12905
      6 12890

Teď by se mohlo zdát, že příkaz konečně proběhl, jak jsme chtěli, a nežádané komplexity IT jsme byli ušetřeni. Ale kde! Zdání klame! I zde si vychutnáme další neočekávaný úder z hlubin Tainterovy studijní oblasti. Ale jak budeme vůbec vědět odkud, když vše funguje, jak má? Úder přichází ze strany internacionalizace. Před určitým počtem let byl sen, že počítače budou moci mluvit světovými jazyky, a tak si dnes můžete nastavit, že vám bash bude psát chybové hlášky třeba vietnamsky nebo čínsky:

( for a in $(locale -a|grep -i utf); do LC_ALL="$a" . owhxeddo; done ) 2>&1 | sort | uniq

Pilní čtenáři si mohou příkaz spustit za domácí úkol, ti ostatní se dozví, jak vypadají chybové hlášky ve všemožných jazycích, v příštím díle.

       

Komentáře

Diskuse byla administrátory uzamčena

[Jouda]

Možná tomu správně nerozumím. Opravdu bylo věnováno tolik úsilí, aby byla nalezena složitá náhrada za toto? awk '{ print $7}' ./inputifile.txt | sort -nr | uniq -c

Bojím se, o čem budou další díly, když triviálnímu triviálnímu součtu nad jedním sloupcem spolklo tolik řádek "úvah".

[Michal Kubeček]

Kéž by… To úsilí bylo věnováno tomu, aby autor tím krkolomným postupem dosáhl toho, co by měl zadarmo, kdyby tři díly zpátky místo "-ls" napsal "-printf '%s\n'".

Na druhou stranu, jak s oblibou říká moje tchýně, vychovávat je nejlépe osobním příkladem a nelze-li jinak, pak alespoň odstrašujícím. Takže, děti, tady názorně vidíte, jak to dopadá, když se místo použití vhodných nástrojů budete snažit parsovat výstup určený pro lidského čtenáře. :-)

[Jouda]

Po přečtení tohoto dílu jsem se tak daleko do minulosti jít neodvážil. Nejspíš se ani neodvážím k otevření dalších budoucích dílů. Je to skoro jako scénář pro seriál TV Nova. :)

[Jesus Jimenez]

Však autor něco podobného zmiňuje sám :)

A teď už může přijít zlatý hřeb: jak bývá dle mé zkušenosti typické pro Unix a Linux, s vynaložením neúměrného množství úsilí se nám konečně podařilo udělat jednoduchou věc, na kterou specificky existuje příkaz – odfiltrovat sedmý sloupec ze souboru

[Jouda]

Ve mě to spíš budí dojem, že neumí používat nástroje k tomu, k čemu jsou. Ono to možná není typické pro UX a LX. Spíš pro autora. :D

[kyknos]

jasne, clock je hrozna lama :D

[kolemjdouci]

Ja myslim, ze se v dalsich dilech objevi Vesmirni lide. To z toho odstavce o komplexite, ktery konci varovanim pred kolapsem, jasne cisi ...

[x]

Tenhle seriál žeru! Esence unixového stylu humoru. Clock ve své životní formě. Worse is better!

[koroptev]

nastavuje zrcadlo, dekonstruuje stereotypy!