Dotaz: Náhrada za grep -o v sedu

[Mikos]

Oblíbil jsem si parametr grepu -o (only matching). Je to nesmírně užitečná věc a často hodně zjednodušuje práci. Nicméně jsem se dozvěděl, že je to v grepu vcelku novinka (maximálně pár let) a že je obsažena pouze v GNU grepu. Zajímá mě tedy, jak bych jí mohl nahradit sedem (ale nějak skutečně jednoduše, né sed skript na několik řádků ), kdybych se někdy dostal k systému kde grep volbu -o nepodporuje.

Malý příklad, mám soubor test.txt, který obsahuje:

bla <a href="bla">bla</a> bla <a href="bla">bla</a>
<a href="bla">bla</a>
bla <a href="bla">bla</a> bla <a href="bla">bla</a>

Chci vypsat všechny odkazy v něm (tedy adresy, to je jedno). S použitím grep -o je to jednoduché:

[mikos@tauri ~]$ grep -o '<a [^>]*>' test.txt
<a href="bla">
<a href="bla">
<a href="bla">
<a href="bla">
<a href="bla">

Ovšem jak na to se sedem? Zkoušel jsem toto:

[mikos@tauri ~]$ sed -n 's/.*\(<a [^>]*>\).*/\1/gp' test.txt
<a href="bla">
<a href="bla">
<a href="bla">

Jenže jak je vidět, to vypíše pouze jeden výskyt odkazu na řádku, jelikož ona .* sežere ty ostatní výskyty.

Je tu nějaký sed-guru, který by poradil co s tím? Upozorňuju, že to s těmi odkazy je jen příklad, jde mi prostě o obecnou náhradu za grep -o (fungující naprosto stejně jako grep -o, tedy nestojím o žádné hacky jen pro konkrétní příklad).

Odpovědi

[Mikos]

Ještě doplnění - také nestojím o žádný ekvivalent v awk nebo dokonce perlu Prostě chci sed, a to pokud možno jednoduše (viděl jsem už řešení, ale byl to ošklivý sed skript na několik řádek, to nechci).

Neexistuje v sedu prostě příkaz jako "vypiš pouze matching regexp"? Print (tedy 'p') vypisuje celý řádek co jsem tak zkoušel

[David Watzke]

david@amd64 ~ $ cat lol
bla <a href="bla">bla</a> bla <a href="bla">bla</a>
<a href="bla">bla</a>
bla <a href="bla">bla</a> bla <a href="bla">bla</a>

david@amd64 ~ $ sed -e 's/.*\(<a [^>]*>\).*/\1/gp' lol
<a href="bla">
<a href="bla">
<a href="bla">
<a href="bla">
<a href="bla">
<a href="bla">

[David Watzke]

A pokud nejsou odkazy na každém řádku, tak použij toto:

sed -e '/<a/ s/.*\(<a [^>]*>\).*/\1/gp' lol

vyhledává to jen řádky s "<a" a vyjde to prý mnohem rychleji.

[Mikos]

Spočítej si kolikrát ti to vyhodí ten výsdledek - ten prostřední řádek to vyhodí 2x. Tzn. tohle není řešení...

[David Watzke]

Máš recht... toho jsem si nevšim'

[Mikos]

No i tak díky, snaha se cení

Jen doufam že se nějaké skutečné řešení najde (hlavně jednoduché... jak říkam už jsem řešení viděl, ale to byl sed skript na několik řádek a o to fakt nestojim).

[Jan Zahornadsky]

Nene... To ti pouze namečuje poslední výskyt hyperrefu na řádku a ten vypíše dvakrát

[Jan Zahornadsky]

Napadlo mě následující řešení: nejdříve si rozsekáme soubor tak, že na jednom řádku bude maximálně jeden hyperref. To zařídíme například tak, že před každý znak "<" a za každý znak ">" vložíme newline. A na to už jde aplikovat docela jednoduchý regexp. Takže konkrétně tvůj případ:

john@turion ~ $ cat test
<a href="1"> xxx <a href="2">
dsjhfsk <a href="3">\bla
mame tu link <a href="4"> a tady taky <a href="5">
john@turion ~ $ cat test | sed 's/>/>\n</g; s/</\n</g' | sed -n '/^<a href=".*">/p'
<a href="1">
<a href="2">
<a href="3">
<a href="4">
<a href="5">

A nebo abys netvrdil, že je to jednorázový konkrétní hack, tak lze si zařídit jednoduchoučký skriptík grep-o:

#! /bin/sh
sed "s/\($1\)/\n\1\n/g" $2 | sed -n "/$1/p"

a teď:

john@turion ~ $ ./grep-o '<a [^>]*>' test
<a href="1">
<a href="2">
<a href="3">
<a href="4">
<a href="5">
john@turion ~ $ echo "<a hhhh> <b jjjj> <a xxx>" | ./grep-o '<a [^>]*>' -
<a hhhh>
<a xxx>

[David Watzke]

sed -e "s/\($1\)/\n\1\n/g" -ne "/$1/p" soubor

je kratší (a doufám, že funguje, hehe... zrovna to nemůžu ověřit. ale řekl bych, že jo).

[Jan Zahornadsky]

No, tohle natáhne řádek do bufferu (například "Ahoj, <a href="test">, jak se vede?" )rozseká řádek tak, že před a za regexp vloží newliny (v bufferu je teď "Ahoj, \n<a href="test">\n, jak se vede?") a na tento buffer aplikuje druhý regexp a tentokrát se ten regexp porovnává v podstatě se třema řádky najednou. Takže se to mine účinkem

Ale jo, určitě to moje jde napsat i nějak jinak, jen tak mě napadá

sed -e "s/\($1\)/\n\1\n/g" "$2" | grep "$1"

[Mikos]

Díky, tohle funguje Ale pořád to není řešení problému, rpotože to funguje jen a pouze pokud vím, co najdu. Tedy abych to upřesnil - mohl bych např. chtít hledat ne celý odkaz, ale jen to co je v href="". Tedy něco takového:

sed 's/<a [^>]*href="\([^"]*\)"[^>]*>/\n\1\n/g' test.txt

To sice krásně funguje, ale pak už nedokážu sestavit ten druhý sed (či grep), protože prostě nemůžu vědět co v tom href="" bude uloženo. Tedy i když právě si uvědomuju, že tohle bych asi neudělal ani s grep - o

Každopádně je nějaké řešení i pro tento případ? Ono by to tedy samozřejmě šlo udělat více sedy v koloně, ale neexistuje i nějaké hezší/čistší/jednodušší řešení? Prostě něco jako příkaz print v sedu, ale aby vypsal vždy pouze třeba \1 a ne celý řádek.

[Mikos]

Hmm, já už snad v tomhle na sed rezignuju. Pokud tedy někoho nenapadá ak to elegantně a jednoduše udělat v sedu, napadá aspoň někoho jak to udělat v awk?

Zkoušel jsem toto:

[mikos@tauri ~]$ awk '{match($0, /<a [^>]*href="([^"]*)"[^>]*>/, arr); print arr[1]}' test.txt
bla1a
bla2
bla3a

Jenže jak je vidět, příkaz "match" bere vždy jen první výskyt daného regexpu (tedy jako sed 's/pattern//', prostě bez onoho obligátního 'g'). Navíc co jsem tak koukal, je onen třetí argument u příkazu match také jen GNU rozšířením (tedy pouze v gawku).

To to opravdu není v sedu ani v awku nějak elegantně a jednoduše řešitelné? To bych opravdu na takovou blbost musel používat python (nebo nedejbože perl, fuj :-P)?

[Pavel1]

Pravděpodobně náhrada za grep -o bude vycházet trošku složitěji, proto asi grep tuto volbu má. Tak už to většinou bývá, že náhrada za něco bývá komplikovanější.

Nejjednodužší, nejpřehlednější a funkční řešení zadaného úkolu grep -o mi připadá (viz. výše) udělat si jednořádkový miniskriptík s obsahem :

sed -e "s/\($1\)/\n\1\n/g" "$2" | grep "$1"

a pak ten miniskriptík volat s parametry :

# miniskriptik hledany_retezec v_souboru

Ale určitě k zadanému cíli vede cest více.