Dotaz: extrakce textu podle masky

[Pepais]

Cau, potreboval bych pomoci programu SED nebo AWK extrahovat z textoveho proudu slova zadana pomoci urcite masky. napr.

zadal bych masku ¨??x9??c¨

pak bych aby me to na obrazovku vytisklo vsechna slova, ktera maji na treti pozici "x" na ctvrte "9" a na posledni pozici "c". jak na to?? dikec...

Odpovědi

[Michal Marek (twofish)]

man cokoliv co pracuje s regulárními výrazy

Místo otazníku použít tečku. A jestli to mají být skutečně slova, tak ten výraz dát do \<...\>

[Hynek (Pichi) Vychodil]

sed 's/\<\|\>/\n/g' | sed -n '/^..x9..c$/p'

[kamil5]

sed -n '/^..x9..c$/p' text.txt

Tohle by se me libilo, ale kdyz je tech slov na radku vic, tak mi to nefunguje a nevypise to nic.

treba kdyz je v text.txt

12x45c # funguje 12x45c abcd # nefunguje

Neexistuje neco jednoducheho co by zvladlo vic slov na radku ? (pokousim se o reg. vyrazy a hledam v diskuzich - proto ten starsi prispevek)

Dekuji Kamil

[kamil5]

sed -n '/^..x9..c$/p' text.txt

Tohle by se me libilo, ale kdyz je tech slov na radku vic, tak mi to nefunguje a nevypise to nic.

treba kdyz je v text.txt

12x45c # funguje 12x45c abcd # nefunguje

Neexistuje neco jednoducheho co by zvladlo vic slov na radku ? (pokousim se o reg. vyrazy a hledam v diskuzich - proto ten starsi prispevek)

Dekuji Kamil

[klobouk]

musis to napsat cele tak jak ti poradil i s tim prvnim sedem a trubkou

[five]

ak ma za tym nieco nasledovat, tak odstran poslednu kotvu $ (ta co znamena koniec riadku) tj /^.x9..c/,

ak tam chces mat znak koniec slova, skus najst ( v perlovskych regularnych vyrazoch je to \b ) v simple regexp tusim \> ... neiste, skus: sed -n '/^..x9..c\>/p' text.txt

[ams]

Pokud pouziti SED nebo AWK neni podminkou, slo by pouzit

grep -o '\<..x9..c\>'

[kamil5]

grep -o '\<..x9..c\>'

Tohle funguje, ale vypise to celou radku za tim slovem. Bohuzel prepinac -o me to nevzalo .. (grep: neznámý přepínač -- o)

[David Watzke]

Tohle funguje, ale vypise to celou radku za tim slovem.

Přesně tomu zamezí přepínač -o. Co to máš za verzi grepu?

$ grep --version
grep (GNU grep) 2.5.1

Copyright 1988, 1992-1999, 2000, 2001 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

[kamil5]

Na stroji kde jsem to testoval je nejaka starsi verze RedHatu grep (GNU grep) 2.4

Na jinem stroji s novym Debianem me to funguje grep (GNU grep) 2.5.1

[klobouk]

ono to vsechno zavisi na "typu" sedu a grep, ale tohle by mozna mohlo fungovat (teda mne to jede). To, ze to pokracuje na dalsim radku je DULEZITE

cat test.txt | sed 's/\ /\
/g' | sed -n '/^..x9..c$/p'

[klobouk]

a kdyby to neslo, tak tahle variace stejneho postupu i s vyuzitim awk uz musi jit snad na tutti

awk '{ gsub(/\ /, "\n"); print }' | sed -n '/^..x9..c$/p'

[kamil5]

awk '{ gsub(/\ /, "\n"); print }' | sed -n '/^..x9..c$/p'

Super, tohle bude ono. Diky vsem

[Michal Karas]

Mně se to teda zas tak nelíbí. Vždyť funkčně je to ekvivalentní s tím, co psal Hynek Vychodil, pouze tohle používá dva programy místo jednoho.

[klobouk]

Ano, je to stejne a vysel jsem z toho, co napsal. Jedina vyhoda me upravy toho postupu je, ze to funguje. To co poradil Hynek Vychodil tazateli nefungovalo, ackoliv je to mnohem elegantnejsi reseni (a mne se libi vic). Proto jsem prvni sed nahradil awk, protoze obycejny sed s \n normalne pracovat neumi (pokud vim tak to umi asi GNU sed).

Bmw. docela rad bych vedel jak to udelat jednodusseji, takze se tesim na dalsi lepsi reseni jinych lidi, protoze jsem problem s \n v "obyc" sedu resil uz mockrat a nevyresil. Srry, I did my best

[kamil5]

No zda se, ze jsem to zase nevyresil

Jde me vlastne od zacatku nahradu meho skriptu co jsem si udelal ve Win za pomoci wget + autoit + blat a ted bych to chtel predelat na linux.

Tam jsem to mel udelane jednoduse ze script nasel retezec treba v index.html posunul se o x znaku doprava pak nacetl xy znaku do schranky a ulozil do souboru.

To by bylo asi idealni i tady a nevim jesli to jde za pomoci reg. vyrazu udelat. Mozna na to jdu moc od lesa. A je neco jednodussiho.

Kamil

[zabza]

tak dejte příklad, jak vypadá vstup a jak má vypadat výstup...

[kamil5]

Najdi ČEZ v html kodu

ID_CENINA=11392 ČEZ td atd .. td class=815,16

Ten html kod se me nepodarilo sem zapsat Pak vyber kurs tady 815,16 a treba vytiskni na obrazovku n. uloz do souboru. A to je vlastne vse Kamil

[kamil5]

Tady je to i s kodem http://tech.autohlavka.com/extrakce.html

[Jan Martinek]

Ten html kod se me nepodarilo sem zapsat

Nepodařilo se to kvůli zobáčkům?
http://www.abclinuxu.cz/blog/johny/2006/8/1/142890

[Jan Martinek]

Tento program

#!/usr/bin/env python
# -*- coding: iso-8859-2
import re
html = u'''
ID_CENINA=11392'>ČEZ</a></td><td class="tr">815,16</td> ... -0,52
'''
id = u'ČEZ'
regexp = re.compile(id + r'.*?(\d+(?:,\d+)?)')
print regexp.search(html).groups()[0]

Vypíše
815,16

[kamil5]

Tohle funguje Jen se jeste snazim vyresit, aby to otevrelo soubor a obsah se predhodil tomu scriptu. S Pythonem se setkavam dnes poprve neco jako ..

#!/usr/bin/env python

# -*- coding: iso-8859-2

soubor = open('index.html','r')

import re html = u'''soubor'''

id = u'ČEZ' regexp = re.compile(id + r'.*?(\d+(?:,\d+)?)') print regexp.search(html).groups()[0]

#Vypíše 815,16

[Jan Martinek]

Zkusím hádat - ten index.html se předtím odněkud stáhl třeba wgetem a pak by se předal tomu skriptu. A co kdyby se to napsalo celé v pythonu včetně toho stahování? Třeba tohle

#!/usr/bin/env python
# -*- coding: iso-8859-2
import re, urllib2
id = 'ČEZ'
regexp = re.compile(r'ID_CENINA=\d+.*' + id + r'.*?(\d+(?:,\d+)?)', re.DOTALL)
url = 'http://tech.autohlavka.com/extrakce.html'
html = urllib2.urlopen(url).read()
print regexp.search(html).groups()[0]

vypíše opět 815,16 ale tentokrát to stáhne html z tvé stránky.

[Jan Martinek]

Ale kdybys to html chtěl opravdu číst ze souboru, tak stačí napsat

html = file('index.html').read()

[kamil5]

#!/usr/bin/env python

# -*- coding: iso-8859-2

import re

html = file('index.html').read()

id = u'ČEZ'

regexp = re.compile(id + r'.*?(\d+(?:,\d+)?)')

print regexp.search(html).groups()[0]

Tohle me vraci .. Traceback (most recent call last): File "extr.pyth", line 7, in ? print regexp.search(html).groups()[0] AttributeError: 'NoneType' object has no attribute 'groups'

[hm]

proč to nepíšete v jazyce, který ovládáte?

[kamil5]

Zda se ze to nefunguje, kdyz je to v php a html se musi vygenerovat http://tech.autohlavka.com/extrakce.html byl jen priklad

[Jan Martinek]

Bohužel jsem neměl k dispozici nic jiného než právě ten příklad, který jsi poslal. Na něm je to testováno.
Tato diskuse už je ale moc košatá, takže jestli chceš nějaké řešení v Pythonu, ozvi se mi na mail (a kdyby z toho vzešlo něco přínosného, tak to sem napíšu). Jestli chceš raději zůstat u známějších nástrojů (jak psal hm), tak o tom už je zde IMHO informací dostatek.
BTW, klientovi by mělo být úplně jedno, jestli je html statické nebo dynamické. A parsování HTML přes regulární výrazy je vždycky humus a spolehlivost je nepředvídatelná.