Filtrujeme čtivé texty z Projektu Gutenberg 8

22. 9. 2016 | Karel Kulhavý | Návody | 10166×

V dnešním dílu přistoupíme k filtraci souborů na základě obsahu. V minulých dílech jsem předvedl zkoumání délek souborů pomocí unixových nástrojů pro zpracování textu.

Při zkoumání délek souborů jsem demonstroval některé modelové problémy, které při použití těchto nástrojů automatizované kanceláře vznikají. Také jsem upozornil na určité celkové zrádné problémy spojené s návrhem Unixu a informačních technologií vůbec, aby před nimi čtenář uživatel nebo návrhář byl varován.

Zdroj: Library of Congress (public domain).

Plakát na Čapkovu vědeckofantastickou hru R.U.R. v New Yorku v roce 1939. Na tuto hru dnes narazíme. Čapkova hra R.U.R. je zdrojem slova robot v různých světových jazycích.

Řekl bych, že nejprominentnější částí obsahu projektu Gutenberg jsou licenční záhlaví a zápatí, která dokážou být obzvláště otravná, chcete-li se jich zbavit. Na Internetu jsou různé diskuse a výtvory, jak tyto pasáže odstranit. Dojem, který jsem dostal, sumarizuje tato otázka na Stack Overflow: „Zkoušel jsem různé metody, jak odstranit licence z textů Projektu Gutenberg (…), ale nepřijde mi, že bych byl schopný přijít na spolehlivý, automatický postup, který nevyžaduje lidskou intervenci.“ Stack Overflow je webová stránka, kde si programátoři navzájem pomáhají řešit různé problémy.

Díval jsem se na předložené návrhy ostatních přispěvatelů, žádný se mi ale nezdál dostatečně důvěryhodný a elegantní, abych ho vyzkoušel.

Níže v článku použijeme statistickou metodu na filtraci archaismů a přímé řeči. Nepředpokládám ale, že by tyto právnické texty obsahovaly znatelné množství archaismů ani přímé řeči. Navíc jsou si podobné, takže pokud budou nějaké zbytkové množství těchto prvků obsahovat, budou mít tendenci je obsahovat všechny soubory.

Nakonec nás zajímají delší literární díla, vůči jejichž rozsahu bude velikost takové licence relativně malá. Ze zkušeností přispěvatelů na Stack Overflow se zdá, že problém je náročný, proto záhlaví a zápatí filtrovat nebudeme – nepřijde mi to adekvátní vynaložené námaze a potenciálnímu přínosu.

Taková filtrace je ale nutná, pokud člověk dělá jazykový korpus pro účely lingvistiky. Korpus je co největší soubor textů zpravidla v jednom jazyce, a to pokud možno reprezentativní. Statistický výzkum nebo strojové učení na korpusu, který by obsahoval takové právnické texty neodstraněné, by snadno došel k hrubě chybným závěrům. Například ve duchu, že každé literární dílo v anglickém jazyce, bez výjimky, obsahuje značný počet výskytů slov jako GUTENBERG, (TM), legální, povinnost, smlouva, záruka atd., což je samozřejmě absurdní závěr o běžném jazyce.

Zdroj: Lancaster University.

Britský národní korpus obsahuje 100 miliónů slov v britské angličtině ze široké palety zdrojů z konce 20. století. Jeho úmyslem je nabídnout reprezentativní vzorek mluvené a psané angličtiny z této doby. SYN2009PUB Českého národního korpusu dosahuje 700 miliónů slov publicistických textů.

Filtrace přímé řeči

Jedním z kritérii pro čtivost článku, jež použijeme, bude přítomnost přímé řeči. Ta se často vyskytuje v románech, povídkách a naopak se nevyskytuje vůbec nebo jen velmi málo v patentech, slovnících, encyklopediích, telefonních seznamech, příručkách, přednáškách či vědeckých dílech.

Jako jednoduchý indikátor přímé řeči jsem použil uvozovky, za kterými se vyskytuje anglické slovo já, ty, on, ona, protože. Toto odpovídá anglickému charakteru stavby věty. Pro češtinu by možná byla vhodná změna. Použijeme ošetřený výpis souborů jménem clean2.txt, který jsme si vytvořili v pátém dílu seriálu. Výsledný seznam s počty výskytů náznaku přímé řeči pošleme do souboru prima_rec.txt.

#!/bin/bash

{
for jmeno_souboru in $(cut -d ' ' -f 11- clean2.txt)
do
 LC_ALL=C grep -c '"\(I\|You\|He\|She\|Because\)\>' "$jmeno_souboru" \
| tr '\n' ' ' &&
echo "$jmeno_souboru"
done
} \
| tee prima_rec.txt

Tento filtr bude mít jeden žádoucí vedlejší efekt: protože slova přímé řeči byla definována anglická, automaticky zamítne texty francouzské, německé atd., které se v projektu Gutenberg také vyskytují, ovšem ne v takové míře jako texty anglické. Drtivá většina textů v projektu je anglických. Pokud to čtenáře zajímá, projekt Gutenberg má seznamy knih německých, francouzských, ale třeba i českých, kde jsou ovšem díla pouhých osmi autorů, mezi nimi R.U.R. od Karla Čapka.

Příkaz poběží dlouho, protože musí progrepovat všech 20 GB textových dat. I kdyby byl disk schopen servírovat data plnou čtecí rychlostí 60 MB/s (rychlost mého disku), jen načtení dat z disku by trvalo 20000/60/60 = 5,5 minuty. Naštěstí jsme alespoň urychlili grep pomocí LC_ALL=C.

Obrázek: Eric Gaba via Wikipedia (CC-BY-SA 3.0).

Úzkým hrdlem u sekvenčního čtení z pevného disku jsou sériové hlavy, kde bity musí chodit jeden za druhým. Při rychlosti disku 60 MB/s a 6 površích musí každá hlava zvládat 10 MB/s neboli 80 Mb/s. Frekvence, které hlava musí přenášet, se tak budou řádově pohybovat kolem 100 MHz, tedy frekvence FM rádia. Toto úzké hrdlo u SSD, které mají řádově desetinásobnou rychlost trvalého čtení, odpadá.

Příště uvidíme, co grep vygeneroval, a získáme hned několik literárních děl hledaného čtivého typu.

       

Komentáře

[Jendа]

Při rychlosti disku 60 MB/s a 6 površích musí každá hlava zvládat 10 MB/s neboli 80 Mb/s.

Opravdu disk umí držet na stopě všechny hlavy současně? Jsou na společném spindlu, ta mechanika by musela mít úžasnou reprodukovatelnost. Vždycky jsem si myslel (možná deformován historickým CHS systémem), že data jsou na disku lineárně.

[R]

Mas pravdu. Ked porovnas dva disky rovnakeho modelu ale inej kapacity (tak, aby jeden mal len jednu platnu a druhy dve), tak budu rovnako rychle (myslim prenosovu rychlost pri sekvencnom pristupe).

[David Ježek]

Je tu někdo, kdo smysl tohohle seriálu chápe (tedy krom toho, že nejspíš jde o sofistikovaný a dlouhotrvající pokus o pološílený pseudohumor marťanů, kteří infiltrovali naši planetu)?

[ED]

já

[q]

já, aspoň si to myslím

[horas24]

Lol, tenhle serial uz ma osmy dil? To je nejaky dlouhodoby trolling nebo proc proboha?

[sid]

Bud rad, ze autor nepise tutorial k C napr. Predpokladam, ze len zapis Hello world by zabral tak 20 casti. Odhliadnuc od toho, ze po skonceni serialu by mal prijemnca vsetky mozne znalosti okrem shopnosti rozumiet C kodu.

[CRKT]

Fascinuje mě, jak si tu všichni ti neumětelové, lepiči kódu v javě, script kiddies a korporátní "programátoři" berou do huby clocka...

[sid]

Ziarlite? Chcete si ho brat do huby len vy?

[Michal Kubeček]

Mne zase fascinuje, že se tu pokaždé objeví nějaký vzývač model, který je natolik omámen úctou k Velkému Clockovi, že zarputile odmítá připustit, že by ten seriál opravdu mohl být tak strašný, jak tvrdí ti, kdo nejsou takto oslepeni velkým jménem.

[CRKT]

A co kdyby jste si připustil, že jste ho prostě nepochopil?

[Sid]

Cisto zo zaujimavosti, kto je ten Clock? Teraz po tom predchadzajucom prispevku som si pozrel web a nejako sa zatial nedostavil WOW pocit. Ci funguje aj pod nejakym inym nickom?

[Jyrka]

Clock je člověk, který umí dělat věci, o kterých Kubeček umí jen mluvit.

[sid]

To jest co? Nejake chytre nove algoritmy, postupy?

[Michal Kubeček]

Nejznámější je asi díky optickému pojítku Ronja, což byla ve své době (kvalitní připojení vzácností, wi-fi technologie drahá) nepochybně zajímavá a užitečná věc. To ale pochopitelně neznamená automaticky, že budou stejně úspěšné i všechny jeho další projekty nebo že bude psát dobré články. Tento seriál to ilustruje dostatečně názorně.

[Vagus]

Takže na jedné straně Ronja, links, optar, hromada zajímavých článků... A na straně druhé Kubečkovy macho kecy

Já zvedám pracku pro více clocka a méně Kubečka

[Michal Kubeček]

Takže na jedné straně … a na straně druhé …

Ve skutečnosti je úplně jedno, co je na jedné nebo druhé straně. I kdyby pod tou sérií byl podepsaný někdo, kdo dokázal tolik, co Linus Torvalds, Donald Knuth a Jim Starkey dohromady, bylo by mi to úplně jedno, protože ta série je dobrá leda k demonstraci toho, o čem je řeč v semináři ke hře Švestka: paradoxní kombinace neschopnosti udržet myšlenku a neschopnosti opustit myšlenku.

Já zvedám pracku pro více clocka a méně Kubečka

Na rozdíl od toho, kdo se za své názory stydí natolik, že se pod ně neodváží ani podepsat, si myslím, že existuje určitá úroveň, pod kterou by se klesnout nemělo. Takže na plnou… ústa: než vydávat tohle, raději nevydávat nic. A pokud by snad existence ABCLinuxu měla záviset na článcích jako tyhle, pak by to asi opravdu bylo lepší odpískat.

[kyknos]

Kubečkovi se to nelíbí, tak je to prostě špatný, co na tom nechápeš? :D

[sid]

Cisto prakticky, polozte tuto seriu vedla hocicoho od p.Tisnovskeho a to co on popise v jednej casti je asi tak 10 nasobok zatial vsetkych 8 casti tu. Nehodnotim samotne "napady" na filtrovanie, nech si kazdy preberie ci neexistuju lepsie cesty. Pre mna cisto po stranke mnozstva informacii na clanok je to naozaj biedna seria.

[kyknos]

hustota informace ale s kvalitou nijak nesouvisi, nekdy je lepsi hustota vysoka, jindy nizka, a uplne nejlepsi je, pokud je na vyber

[sid]

Povedal by som, ze v takychto clankoch snad ano, predpokladam, ze tutorial je o tom, ze autor citatela chce nieco naucit. A opat dufam, ze tu nejde o nejake slovickarenie a chapeme sa, ze tutorial snad by mal obsahovat infomacie k teme a ze toto podla dosavadneho obsahu nie je nejaky teoreticky traktat. Tam by som plne suhlasil s vasou pripomienkou.

[kyknos]

hustota informace je při záměru "něco naučit" často vysoce kontraproduktivní

je rozdíl mezi referenčním manuálem a popularizačním článkem nebo tutoriálem pro začátečníka

[sid]

Mam pocit, ze sa bavime o konkretnom clanku tu, nie o nejakej obecnej mnozine vsetkych moznych clankov. Teda ak vam to nedoslo lebo mi pride, ze iba sa snazite odbiehat od temy a tou bola tato seria. Konkretne napr. tento clanok, zmienka o disku, mne cely ten odstavec pride ako nejaky copy paste error, absolutne ziadny suvis s temou, odbehnutie k frekvenciam, co tak este rozobrat popri ci lepsi nejaky inertny plyn v disku? A potom plynule napr. prejst k najlepsej zmesi pre potapanie do vacsich hlbok? Keby to bola jedina vec tak nepoviem ani slovo, kto cosi pisal vie svoje... Ale tu je to viac menej pravidlo (vid utf8 napr.)

[kyknos]

No, ale za to já nemůžu, že jsi to nepochopil nebo to není článek pro tebe (a neumíš se na to podívat obecněji).

[sid]

A na to ste prisli ako, ze som to nepochopil? Takze skuste mi podat vase vysvetlenie aky ma suvis frekvence ktore musi hlava prenaset s filtrujeme ctive texty? Mne to pride ako neschopnost drzat sa temy cakam na vase osvietenie mojej mysle aby som v tom videl cosi viac.

[kyknos]

Mně je úplně jedno, jak ti to přijde. Pokud chceš tvrdit, že je to špatný článek, měl by si nějak prokázat, že tvá osobní preference (článek, který se drží úzkého tématu jako klíště) je nějaké obecné dobro a objektivní znak kvality - já to například považuji spíš za mínus, s vyjímkou několika velmi specifických žánrů, mezi které tento seriál nepatří

[sid]

Zaujimave, ze ja musim prekazat. Ja nechapem. Ja neviem co. Vy ste proste demagog bez schopnosti dodat argument. Co keby ste dodali konecne aj vy cosi. A btw je rozdiel ked odbehnutie od temy ma nejaky vyznam ako len neschopnost pisat suvisle.

[kyknos]

ty tvrdiš, že je článěk špatý = ty to musíš prokázat

jinak tak maximálně můžeš tvrdit, že se ti nelíbí/nejsi jeho cílová skupina

a než začněš používat cizí termity, zjisti si, co znamenají

[sid]

co z polopravd, prekrutenych argumentov sa vam nezda ze pasuje na oznacenie demagoga? Ja som sa snazil popisat co konkretne mi vadi, zatial co vy sa ohanate obecnymi frazami a stale pozadujete dodat argumenty a popritom zhusta opopentom podsuvate veci ako ze to nechapu (ale svoje vysvetlenie poskytnu asi nehodlate), pripadne sa to snazite ponat ironicky. Pozadujete dokazy (co je to dokaz pri takomto clanku je na inu debatu inac) ktory "lahko vyvratite" , citujem "No, ale za to já nemůžu, že jsi to nepochopil nebo to není článek pro tebe (a neumíš se na to podívat obecněji).". Okrem toho ze logicka skladba tejto vety je nezmyselna (btw to mozno zase naznacuje preco tu stale sa tocime v kruhu) tak pouzijem na tvoju odpoved tvoju prvu vetu "ty tvrdis ze to neni pravda = mal by si to dokazat."

[kyknos]

dokazuje se pravda, ne nepravda :)

i kdyz v tomto pripade jde dokazat ta nepravda jednoduse - clanek si nasel spokojene ctenare, argo nemuze byt uplne spatny

[Michal Kubeček]

clanek si nasel spokojene ctenare, argo nemuze byt uplne spatny

To je hodně odvážná implikace - a zcela neoprávněná. Tato série článků není zdaleka jediným protipříkladem.

[kyknos]

Ne, tato série článků jen ukazuje (jako mnoho jiných věcí) tvou debilitu - pokud se tobě něco nelíbí, je to špatné. Jiným se ta série líbí a něco jim přináší - a jinou smysluplnou definici dobrého článku, než že si najde své spokojené čtenáře, neznám. Ty ano? Pochlub se s ní

[deda.jabko]

jinou smysluplnou definici dobrého článku, než že si najde své spokojené čtenáře, neznám

Podle teto definice nejlepsi clanky vychazeji v Blesku.

[kyknos]

nevim zda nejlepsi, ale dobre jiste ano - lide je ctou a bavi je

leda by ses prohlasil za nadcloveka a zacal vnucovat svuj vkus jinym lidem

[deda.jabko]

leda by ses prohlasil za nadcloveka a zacal vnucovat svuj vkus jinym lidem

na to jsou tu jini odbornici, ...

kteri dokazou tak komplikovanou vec, jako je kvalita clanku, zredukovat na jednorozmernou dvouhodnotovou velicinu (ma ctenare/nema ctenare)

[sid]

Vidim, ze si prebral stafetu dohadovania sa s tymto clovekom. Mam ale obavy ze jeho argumenty a logiku(teda jeho specialnu verziu logiky ci ako nazvat) s ktorou ich aplikuje nie je mozne udolat pripomina mi jednu piviedku od Lema kde Trurl zostrojil najhlupejsi stroj na svete a pokusal sa s nim hadat

[Václav "Darm" Novák]

Ono to nemá smysl. V par věcech se mi s Kyknosem daří i souhlasit. Ale jakmile má jiný názor než ty, narážíš na problém "Kyknos má vždycky pravdu"

[ooo]

jsou lide, kteri zerou hovna, presto mi nikdo nenamluvi, ze to je dobry.

[Michal Kubeček]

Takže články oslavující homeopatii, články o chemtrails nebo články fanatických křesťanských fundamentalistů o tom, jak všichni, kdo nežijeme podle jejich představ, budeme zatraceni, to jsou podle tvého chápání dobré články jen proto, že si najdou své spokojené čtenáře? Pozoruhodné…

[Václav "Darm" Novák]

Náhodou, homeopatie, pokud se nepoužije jako náhrada léčby, ale jako její doplněk pro "věřící" je fajn :) I ten placebo efekt může podpořit léčbu. :)

Ale samozřejmě souhlas. Měřit kvalitu článku spokojenými čtenáři (přičemž i těch se ukázalo opravdu minimum) je blbost. Třeba na Živě pravidelně vychází zcestné články ukazující naprosté nepochopení zdroje autorem, ale spokojené čtenáře (kteří téma neznají) si to najde. A prohlásit že naprostá dezinformace je diky tomu kvalitním článkem by chtělo opravdu odvahu.

[kyknos]

Ano, i články oslavující homeopatii či Alláha Krista mohou být dobré a rád si je přečtu. Ono totiž lze těžko s něčím nesouhlasit, pokud si to člověk dostatečně nenastuduje.

[sid]

ano? povedal by som, ze dokaz nepravdivosti tvrdenia sa celkom casto pouziva, ci dokazy sporom sa podla vas robia ako?

[deda.jabko]

argo nemuze byt uplne spatny

Jako pes z cetnickych humoresek, Argo, uplne spatny nebyl. Termit, ktery jsi chtel pouzit, je tedy patrne "ergo".

[kyknos]

usiluješ o pozici mé sekretářky? :) jestli to chceš dělat zadarmo, proč ne :) ale platit za eliminaci překlepů nehodlám, inteligentní čtenář má opravné mechanismy :)

[deda.jabko]

jsi takhle vtipny i ve skutecnem svete, nebo jen na internetu?

[Neumětel, Lepiči kódu v javě, Script kiddy a Korporátní "programátor"]

Srdečně a upřímně se omlouváme panu Programátoru s velkým P, že se nám ty jeho sračky co tady produkuje nelíbí. Rádi bychom uvítali, kdyby redakce ABCLinuxu odfiltrovala všechny jeho články a do budoucna se snažila publikovat pouze čtivé články.

S pozdravem Neumětel, Lepiči kódu v javě, Script kiddy a Korporátní "programátor"

[ava]

Mě se tyhle "sračky" líbí, baví mě styl, a i ty informace mi přijdou zajímavý.

Prostě to nečti, ale netvař se že tvůj názor je názor všech, můj to třeba není.

[Petr]

Jsem rád, že tu tenhle seríál vychází, dozvěděl jsem se z něj mnoho zajímavých věcí a prosím Michaela Kubečka a další intelektuální masturbanty, at nám předvedou své vlastní dílo vyšší kvality nebo laskavě mlčí. Děkuji redakci i autorovi.

[Jendа]

Přijde Petr do hospody a objedná si řízek. Přinesou mu humáč.

Petr: „Fuj, vždyť je to do černa spálený a přesolený!“

Číšník: „Ukažte nám jak smažíte řízky vy nebo laskavě mlčte.“

[Petr]

A tenhle článek je spálený a přesolený?

A i kdyby byl, je ten řízek zdarma a bez záruky? Pokud by někdo zdarma rozdával řízky, lidé by je s chutí baštili, byly by podobné vykřiky stejně mimo mísu, jako pod tímto článkem.

[|🇵🇸]

zdarma

Pane kolego, že vy používáte blokování reklamy?

[Petr Tomášek]

To snad dělá každý, kdo nechce být těma reklamníma zmrd*ama špehován...

[Michal Kubeček]

A tenhle článek je spálený a přesolený?

Ano (v rámci té analogie). Nemluvě o tom, že to vlastně z větší části ani nejsou řízky, protože k údajnému tématu série se autor pořád ještě nedostal. :-)

Pokud by někdo zdarma rozdával řízky…

…tak to pořád ostatní nezbavuje práva hodnotit jejich kvalitu.

Loni jsem třeba na jedné konferenci dostal kabel s klasickým USB konektorem na jedné straně a mini- a mikro- na druhé. Když jsem pak zjistil, že se dá použít jen pro nabíjení, protože nemá propojené datové piny, musím si tuto informaci podle vaší logiky nechat pro sebe (a nechat ostatní, ať na to přijdou sami)?

[Petr]

Údajnému tématu se věnuje již mnoho dílů zajímavého čtení. Pokud to Vás nezajímá, nevím, kde berete pocit, že čtenáře zajímá, že vás to nezajímá... Nějaká duševní porucha? Že vy se nechcete od autora nic naučit je jen váš problém, já třeba chci.

[navstevnik z rootu]

No pokud ty "spalene a presolene rizky" bude rozdavat nejaky znamy michelinsky kuchar a pokrikovat na nej bude blbecek, co si ani poradne neumi ve firemni mikrovlnce ohrat pizzu, tak si ten spaleny rizek s chuti dam.

[Michal Kubeček]

To je přesně ta zvrácená logika, o které jsem psal výše: spálený řízek od "blbečka" je špatný, spálený řízek od michelinského kuchaře je lahůdka. Nesmysl. Spálený řízek je špatný, ať ho spálil kdokoli. Rozdíl je v tom, že dobrý kuchař by měl mít především dost soudnosti a z kuchyně ho nevydat.

[navstevnik z rootu]

tak tedy polopaticky: chtel jsem trochu kulantneji rici, ze pokud na clocka pokrikuje nejaky niemand kubecek, ktery sam ani neumi poradne programovat, vypovida to o kvalite clockova clanku naprosty vykal :)

[Michal Kubeček]

Na rozdíl od vás se "niemand kubecek" umí aspoň podepsat, takže si lze snadno ověřit, jako to s těmi vašimi výkřiky je ve skutečnosti.

[navstevnik z rootu]

blahopreji

[Jendа]

Heh, já jsem v tom komentáři detekoval ironii a ono prd.