Dotaz: sed parse html tag

[TheTechnic]

Ahojte, viete mi poradit ako by sa dal vyparsovat vsetok text zo zdrojoveho kodu html stranky, povedzme ze chcem vsetko text medzi tag-mi <pre> a konciacim jeho tagom </pre>

pricom tieto tagy sa niekolko krat opakuju a chcem vsetko text medzi nimi, vsetko ostatne nejako potrebujem dostat prec.

Odpovědi

[Fuky]

$ cat index.html |sed -n 's/<pre>\(.*\)<\/pre>/\1/p'

[TheTechnic]

super! :) Len problem je v tom, ze mi to nezoberie do ohladu ked mam v zdrojovom kode blok s danym tagom, cize ak mi to nematchne na jedno riadku, tak to nevypise, neviem ako to osetrit? napr.

<pre>aaaaa
bbbbbbbbbbbb
cccccccccccc
dddddddddddd
############ </pre>

Proste tagy byvaju rozne zalomene. Diky za echo :)

[Michal Kubeček]

Na něco takového není sed vhodný nástroj, i když by k tomu asi nějak znásilnit šel.

[TheTechnic]

vies teda odporucit iny nastroj, s awk by to neslo lahsie? sice vela sa spomina na internete perl, ale ten je pre mna spanielska dolina, zatial skusam pouzit ten sed.

[Fuky]

Jedno z možných řešení je modul lxml pro Python, HTML soubor pošli na vstup následujícímu skriptu:

#! /usr/bin/env python
# -*- coding: utf-8 -*-

import sys
from lxml import etree

parser = etree.HTMLParser()
tree = etree.parse(sys.stdin, parser)
expr = "//*[local-name() = $name]"
pre_elts = tree.xpath(expr, name="pre")

for pre_elt in pre_elts:
    print pre_elt.text

Pokud používáš distribuci založenou na Debianu musíš mít nainstalovaný balíček python-lxml.

[Fuky]

BTW: Někoho by mohl zajímat Python HTML Parser Performance.

[Michal Kubeček]

Těžko říct, mně by přišlo nejjednodušší napsat si to v C.

[imploder]

Příloha:

• vyparsovat-tag.pl (318 bytů)

V perlu:

my $text = join "", <STDIN>;
my @vnitrky = $text =~ /<pre>(.*?)<\/pre>/sg;
foreach (@vnitrky) { print $_; }

[deadmail]

Napr. takto:

sed 's_</pre>_&\n_' SUBOR | sed -nr -e \
'/<pre>/{:a;s_</pre>_&_;tb;N;ba;:b;s_.*<pre>(.*)</pre>_\1_;p}'

Najprv rozdelime, aby v kazdom riadku bol najviac jeden tag pre. A potom nacitame az po koncovy tag a zobrazime iba obsah ...

[deadmail]

A mozno jednoduchsie:

sed 's_</pre>_&\n_' SUBOR | sed -nr -e '/<pre>/,/<\/pre>/
{
 /.*<pre>/s___
 /<\/pre>/s___
 p
}'

[TheTechnic]

Wow skvele velmi si mi pomohol :) a diky za rady vsetkym ;) Sed powaaa! :D

Este mi ostali v subore znaky ^M na konci riadkov, pre zmazanie bolo potrebne napr. vo vime pozuit prikaz :%s/\r$// a nasledne na subor pouzit prikaz, ktory maze prazdne riadky a to je pomocou sed '/^$/d'. A tada vsetko co bolo treba je na svete :)

Este raz dakujem za rady.

[deadmail]

takze vsetko spojene dokopy:

sed 's_</pre>_&\n_;/^$/d;s/\r$//' SUBOR | sed -nr '\_<pre>_,\_</pre>_{s_.*<pre>|</pre>__g;p}'

[deadmail]

A mozno jednoduchsie - opravene riadkovanie:

sed 's_</pre>_&\n_' SUBOR | sed -nr -e '/<pre>/,/<\/pre>/{
 /.*<pre>/s___
 /<\/pre>/s___
 p
}'

[l4m4]

Nejjednodušší je toto:

sed -n '/<pre>/,/<\/pre>/{s:.*<pre>::;s:</pre>.*::;p}'

ale předpokládá se zde, že tag pre skutečně obsahuje nějaké bloky textu, takže se jich nevyskytuje více na jednom řádku.

[deadmail]

toje presne moje riesenie, bez prvej casti a teda nefunguje ak ich viac na jednom iadku (co som tam pisal) - je to aj v tom doplneni vyssie skratene cez bodkociarky.

[deadmail]

a este tam je skratene nahradzovanie - jedno namiesto dvoch