Selfoss jako náhrada za Google Reader? Ále jo. (diskuse)

A umí to nějak procházet webové stránky, které RSS nemají? Např. na základě diff...

9.5.2013 08:18 pesspi | skóre: 7 | blog: hateblog
Rozbalit Rozbalit vše Re: Selfoss jako náhrada za Google Reader? Ále jo.

A vedel toto Google Reader?

9.5.2013 08:48 hanoj
Rozbalit Rozbalit vše Re: Selfoss jako náhrada za Google Reader? Ále jo.

To nevím, někdo mi tvrdil že jo. Ale ted jsem selfoss rozjel a zda se ze umi "jen" RSS a podobnych cca 10 formatu.

10.5.2013 11:22 Marián Kyral | skóre: 29 | blog: Sem_Tam | Frýdek-Místek
Rozbalit Rozbalit vše Re: Selfoss jako náhrada za Google Reader? Ále jo.

Tohle zatím selfoss neumí. Nicméně má podporu pluginů (říká tomu spouts), takže si to můžeš doprogramovat, případně zkusit dát požadavek do bugzilly. Třeba se někdo najde, kdo to udělá.

Čistě teoreticky by mohlo stačit vyextrahovat data mezi <body> a </body> a spočítat kontrolní součet. Ten pak porovnat s nově vygenerovaným. Ale nevím jak se to popere s reklamou. Problém můžou taky dělat třeba hodiny na stránce.

Možná zkusit zjistit, jak to dělají jinde a inspirovat se tam.

11.5.2013 23:13 Josef Kufner | skóre: 70
Rozbalit Rozbalit vše Re: Selfoss jako náhrada za Google Reader? Ále jo.

Já používám lynx+diff+cron. Funguje to celkem hezky, jen se na té stránce nesmí nic měnit jen tak samo. Ale to se většinou nějak dá pořešit vhodným odkazem (verze k tisku a podobně).

Hello world ! Segmentation fault (core dumped)

12.5.2013 22:25 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Selfoss jako náhrada za Google Reader? Ále jo.

Kdysi jsem napsal v pythonu kód, který si stránku načetl vícekrát. Pak použil diff, aby zjistil co se mění a to prostě odfiltroval. Ve výsledku jsem z toho tedy většinou dostal jen čistý obsah, který pak šel sledovat jinou cestou.

Nedávno jsem zase pro ebookreader psal script, který tahal ze stránek element s největším počtem <p> tagů, nebo pokud se to nedalo jednoduše rozhodnout, tak s největším blokem textu.

Zkombinovat oboje by v tomhle případě mohlo být docela fajn. Já jen tak pro inspiraci, dělat se s tím (zatím) nehodlám :)

blog.rfox.eu

14.5.2013 00:02 Josef Kufner | skóre: 70
Rozbalit Rozbalit vše Re: Selfoss jako náhrada za Google Reader? Ále jo.

Lynx funguje celkem dobře, ono i odkazy v menu jsou na některých stránkách vhodné ke sledování. Navíc, pokud chodí diff, tak není třeba nic filtrovat – nezajímavé části stránky se nemění a nejsou tedy vidět.

To vícenásobné načtení je ale zajímavý nápad. Máš ten kód někde poruce?

Hello world ! Segmentation fault (core dumped)

14.5.2013 04:56 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Selfoss jako náhrada za Google Reader? Ále jo.

Navíc, pokud chodí diff, tak není třeba nic filtrovat – nezajímavé části stránky se nemění a nejsou tedy vidět.

Já to používal právě naopak - kvůli filtraci dynamckého obsahu. Dneska bych to ale celé psal úplně jinak, v té době jsem ani neuměl pořádně používat HTML parser.

Máš ten kód někde poruce?

Je to gigantická prasárna, kterou jsem začal psát před lety a když zmizela motivace proč vlastně, tak jsem to nedodělal.

Kód ani nemá cenu posílat, jen jednoduché použití pythonní difflib. V podstatě se ten script koukne na diff mezi dvěma načteními stránky a pak vrátí jen to co je stejné. Díky tomu člověk zahodí reklamu a různé nesmyslné hodiny, svátky a další dynamické kraviny, co si lidi dávaj na stránky.

Jinak teď koukám, že v té difflib je i HtmlDiff - ten by mohl práci dost usnadnit.

PS: reklama tady na abclinuxu je taky boží. Někdy používá jiné kódování, takže mi pak shazuje python 2.x scripty, které neumí tohle mixování zkousnout a padají na tisíckrát proklínaném "ascii codec can't decode..". Řešení je prostě dokola načítat stránku, dokud nepřijde jiná reklama.

blog.rfox.eu