Dotaz: kontrola změny WWW stránek

[pavel]

Dobrý den, potřebuji udělat program na kontrolu změny obsahu www stránek. Nevíte náhodou na jakém principu tato kontrola probíhá. Budu to programovat v Javě, ale princip bude všude stejný. Dík za rady.

Odpovědi

[Käyttäjä 11133]

Třeba nějaká hashfunkce?

[Michal Marek (twofish)]

Pokud by chtěl kontrolovat obsah, tak by to určitě nepůjde jen tak porovnat -- zkus si párkrát po sobě

wget -q -O - http://www.abclinuxu.cz/  | md5sum 

To by pak musel nějak odhadnout, kdy už se dvě verze liší a kdy ne.

[Michal Marek (twofish)]

Potrava pro google by mohla být "text distance algorithm", najde to, víc asi poradit nedokážu.

[Michal Marek (twofish)]

K čemu je asi náhled...?

... najde to třeba Levenshteinův algoritmus.

[Käyttäjä 11133]

Ale tento problém je způsoben dynamicky generovaným obsahem (reklamou) skus si několikrát po sobě třeba: wget -q -O http://www.m4r3k.org/ | md5sum což je statická stránka bez reklamy.

[Michal Marek (twofish)]

Nejen reklamou, stačí, aby na stránce bylo datum, kdy byla vygenerována, aby se u článku změnilo "dnes" na "včera" apod... Předpokládám, že případný uživatel toho programu by tohle za změnu stránky nepovažoval, proto bude potřeba použít nějakou heuristiku.

[Käyttäjä 11133]

Ale změna to je

[Michal Vyskočil]

Nejsem specialista na webové programování, ale servery vrací v hlavičce odpovědi položku Last-Modified, viz wikipedia. Eventuálně použít položka If-Modified-Since, ale to už příslušné rfc1945 (HTTP 1.0).