Dotaz na regexp

17.4.2006 17:43 | Abíčko

Snažím se vymyslet regexp, který by detekoval ampersand, který není součástí HTML entity. HTML entitou myslím > a další, což se dá nejspíše vyjádřit jako &[a-z]+;. Ale jak to dát dohromady do dotazu, najdi takové ampersandy, za kterými nic takového nenásleduje? Ja mám pocit, že to snad ani vyjádřit nejde. Pokud jde o syntaxi, zde je její popis.

       

Komentáře

[Kníže Ignor]

&[^a-z]+ | &$

buď je za ním alespoň jedno nepísmeno nebo je na konci řetězce

[Leoš Literák]

A co treba string "Otec&Syn" ? Nechci zakazat pismena za ampersandem, jenom kdyz jsou ukoncena strednikem.

[Kníže Ignor]

aha, ten středník jsem přehlédl, pak tedy &[^a-z]+[^;] | &. | &$

[Kníže Ignor]

respektive &[^a-z]+[^;] | &.$ | &$

jestli to není dobře, tak už dál hádat nebudu

[Kníže Ignor]

není, tohle nevezme &;;

už mlčím

[Wolf]

tohle me fungovalo, nejsem autor, ale uz si bohuzel nepamatuju, kde jsem to nasel...

&(?![a-zA-Z]{2,6};|#[0-9]{3};)

[David Jaša]

A proč se vlastně ptáš v blogu a ne v diskusi?

[Michal Vyskočil]

Třeba se to netýká tématu tohoto serveru

[Yin]

Leoš tu v tomto blogu informuje o vývoji Abíčka, zverejnil zdrojové kódy Abíčka a každý o kom viem, že mu s Abíčkom pomáha, jeho blog sleduje...

[Leoš Literák]

protoze nechci dostat vynadano, ze je to offtopic

[David Watzke]

Myslím, že by si to nikdo nedovolil

[Leoš Literák]

Ale uz se jednou stalo, kdyz jsem se ptal, zda mi chcipa monitor.

[jiri.v]

snad by melo fungovat &(?!\w+;)

[razor]

Bohužel operator ?! v dané syntaxi není

[Leoš Literák]

Ale v Java Pattern je, pak bych mozna mel dalsi duvod opustit jakarta regexp. Prvnim duvodem je udajna pomalost, nedavno jsem zahledl nejaky benchmark, kde jej porazili snad uplne vsichni.

Kazdopadne diky, tenhle figl jsem neznal.

[happy barney]

tento figl je najcistejsie riesenie. osobne by som sa vsak priklonil k tomuto regexpu. Riesi aj ciselne entity.
Resp, s upravou

&(?![a-zA-Z][a-zA-Z0-9]+;|#[0-9]+;|#[xX][a-fA-F0-9]+;)

a ak nema kontrolovat spravnost ciselnych entit, tak postacuje

&(?!#?[a-zA-Z0-9]+;)

[Filip Jirsák]

Použít vyhlížení (?!…) když je to přímo v java.util.regex je asi nejlepší. Bez vyhlížení to IMHO nepůjde zapsat jako jedno porovnání a muselo by se to udělat nadvakrát.

[Yin]

a pomohlo to?

[Martin Tůma]

Zkusil bych něco takovýho:

(&)[^;]*[[:space:]]

(shoda v prvním podřetězci je přesně ten hledaný &)

IMHO tam musíš mít nějakej oddělovač, kterej ti určí, kdy končí entita (v mé "ukázce" jsem tam dal jenom bílé znaky, ale tu množinu lze samozřejmě rozšířit), jinak to není regulární jazyk.

[Martin Tůma]

Teda abych se vyjádřil lépe - oddělovač, kdy už to nemůže být entita.

[User682]

cau,

a co takhle v xml vybrat vsechny entity a nedelat to vybec pres regularni vyrazy ? ne-li, ze si pres nejake dtd overis, zda to vubec je entita, co te zajima.

gf

[Leoš Literák]

Mam titulek nejakeho clanku, ktery chci osetrit. Nekteri mamlasi do nej strkaji HTML znacky, proto je musim vyescapovat. Jinde escapuji ampersand, takze tuto cinnost nesmim provadet, zatimco jine servery escapovani nedelaji a musim jej udelat ja (jinak neni stranka html validni).

[User682]

anebo me pomohla JTidy. a neni **snad** nutne, aby mel dokument, ktery zpracovavas, html hlavicku. das pouze kus html. pouzivam priblizne toto na cisteni html - douprav si sam. a useri s jejich html mi mohou potom vlezt na zada, kdyz to uplne nezmrsi.

   Tidy tidy = new Tidy();
//   Configuration tidyconfig = new Configuration();
  
  tidy.setXHTML(true);

  tidy.setXmlOut(true);
//  tidy.setXmlPIs(true);
  tidy.setXmlPi(true);
  tidy.setMakeClean(true);
  tidy.setAltText("");
  tidy.setPrintBodyOnly(true);
  tidy.setFixUri(true);
  tidy.setWord2000(true);
  tidy.setDropFontTags(true);
  tidy.setSmartIndent(true);
  tidy.setInputEncoding("utf-8");
  tidy.setOutputEncoding("utf-8");

//  tidy.setHideComments(true);
//  tidy.setXmlTags(true);

  tidy.setShowWarnings(false);


InputStream inputStream = 
	new BufferedInputStream( new FileInputStream(ConvertedFileName));


OutputStream zeroout = new ByteArrayOutputStream();
  org.w3c.dom.Document ThisDocument = tidy.parseDOM(inputStream, zeroout);

	if(ThisDocument == null)   {
	   System.err.println("Document nejde opravit......");
             // vlozit, jak je
        }  else  {

           // nejam vlozit dane xml - print pretty xml/xhtml, tisk vnitrku xml znacky.....

        }

bye gf

[Leoš Literák]

Diky, ale ja vazne neparsuji HTML. Dostanu z RSS titulek clanku a musim jej osetrit, protoze do nej vydavatele cpou nesmysly a kazdy to dela jinak. Na tohle je opravdu lepsi regexp nez z jednoho textu delat HTML, prohnat jej tidy a pak zase vytahovat z HTML ten text.

[User682]

resil jsem podobnou ulohu na toto tema. priznam se, ze neni zcela vyresena.

osobne, kdybych delal toto, tak to resim urcite pres nejake overeni pres dtd. osobne vykon je posledni co bych v teto dobre resil.

kdyz uz nutne pouzit regularni vyraz, tak jenom na bloky mezi znaky ';' .

snazil jsem se podobnou ulohu resit pres regularni vyrazy, ale nevidim to jako pouzitelne reseni. je sice fajn, ze ty priblizne urcis co to je entita. ale co kdyz takova vubec neexistuje ? pak se dostavas opet k nevalidnimu xhtml. staci kdyz se uzivatel upise v nazvu dane html entity.

kdyz uz pak vyrazovat elementy, tak elegantne by to melo jiz pres XPath.

nechci ti do toho kecat, ale podle me nejake detekce, ze to je __asi__ znacka ci entita s 2-4 znaky neni resenim. ze by ! nebo ϊ? tot muj nazor, nikomu neberu jeho.

gf

[happy barney]

gramatika entity je stara ako sgml samo. ale mam dojem, ze je potrebny negative lookahead ...
s/&(?<!#?[a-zA-Z0-9]+;)/&/g

[hajma]

A co takhle pustit na to tidy?

[happy]

A nebylo by jednodusi napsat si nejaky jedoduchy lexer? Pripadne pouzit nejaky nastroj typu ANTLR?

- pavel