RSSMan - upravte si cizí RSS kanály dle svých přání!

20.9.2006 23:11 | Přečteno: 1398× | Free Software | | poslední úprava: 20.9.2006 23:17

Také vás štve, že některé servery poskytují pouze neúplné RSS kanály? Např. usekávají novinky v půlce textu (nebudu radši jmenovat ) či dokonce poskytují jen titulky bez žádného textu (např. KDE Dot News)? Mě to štvalo, tak jsem se vydal cestou "udělej si sám" a napsal v PHP jednoduchou webovou aplikaci RSSMan, která umí RSS kanály obohacovat daty získanými parsováním webových stránek. Jedná se tedy o jakousi RSS proxy. Stahovaná data navíc cachuje, což může být v řadě případů taktéž výhoda...

RSSMan využívá MagpieRSS k parsování RSS feedů a RSSWriter k tvorbě nových RSS feedů (oboje dvoje mírně upraveno). K parsování HTML stránek se používá obyčejný PCRE regulérní výraz. Ke generování (nutno říci primitivně jednoduché ) webové stránky se seznamem feedů jsou použity TemplatePower šablony. Feedů si můžete v konfiguračním souboru nastavit kolik chcete.

RSSMan zatím podporuje jen přepisování <description> tagu (je to to jediné co jsem potřeboval), ale je velice jednoduché ho případně upravit aby přepisoval vícero věcí. V budoucnu (až bude trocha času) plánuji přidat i podporu kompletního generování RSS feedů z HTML stránek (které žádný RSS feed samy neposkytují).

Pokud byste měli nějaké náměty na vylepšení, sem s nimi Např. se mi nelíbí, že RSSWriter generuje výstupní RSS soubor "hrubou silou" a nepoužívá (narozdíl od MagpieRSS) žádnou standardní XML PHP knihovnu (pokud byste tedy znali lepší náhradu, budu jedině rád). Také v Internet Exploreru nefunguje centrování seznamu kanálů na webové stránce (zná někdo jiné CSS řešení centrování seznamu, které by fungovalo i v MSIE? Tabulkový layout ani žádné IE CSS-hacky neberu ). A pokud by chtěl někdo dopsat zmiňovanou podporu pro kompletní generování RSS z čistého HTML místo mě, budu ještě raději a patch s radostí přijmu

Jinak program je samozřejmě (jak je u mě zvykem) šířen pod licencí GNU GPL.

DISCLAIMER: Prosím pokud možno používejte RSSMan jen pro svou vlastní potřebu. Neposkytujte žádné RSSManem obohacené feedy veřejnosti, mohlo by to být porušení copyrightu původních autorů (tedy samozřejmě pokud nejste s původním autorem feedu domluveni).

       

Komentáře

[Leoš Literák]

Jako provozovatele by me masivni pouzivani takove funkce pekne stvalo a to z prosteho duvodu: na strane serveru spatne implementovane ale popularni RSS se rovna masivni DOS utok. Proto dnes uz nikdo negeneruje RSS na zadost, ale cachuje je v nejakem intervalu.

Nicmene tato pomucka zacne pro kazdeho uzivatele zvlast stahovat vsechny odkazy! Tomu se opravdu da rict killer application - staci par tisic uzivatelu a zabije to server. Proto si preji, aby tahle aplikace byla neuspesna a nikdo ji nepouzival. Pokud by se skutecne rozsirila, znamenalo by to zruseni RSS na abclinuxu.

[Michal Vyskočil]

No, ono by to nepomohlo, když Mikos parsuje přímo kód stránky .

[Leoš Literák]

Ale pomohlo - on prece potrebuje RSS, aby vedel URIcka tech clanku, ne? Pokud tedy zrusim RSS, nebude mit co obohacovat

[Vašek Lorenc]

Takže jediný problém je jen v tom, aby byl jeho nástroj (ideálně) jediným zdrojem obohaceného RSS, aby to ABCLinuxu nevadilo? Však to by šlo, udělat takovou službu, která by navíc měla i nějakou cache, aby to servery nezatěžovalo..

[Leoš Literák]

Hlavni problem je v tom, ze kvuli jednomu uzivateli se nacita zbytecne spousta clanku. To je podobne jako kdyz predevcirem nejake pako dalo v exploreru volbu, ze chce mit abicko dostupne offline. Stahnul pres noc asi 30 tisic stranek. Na kolik z nich se podle vas v offline modu skutecne podiva? Jestli na 1 promile, bude to moc. Podle mne je to priserne plytvani.

S RSS je to podobne. Pokud si stahne pri kazdem nacteni ty hlavicky vsech clanku, na kolik z tech hlavicek se skutecne podiva? A ted si to vynasobte tisici uzivateli. Brr.

Dalsi duvod - RSS je mineno jako zpusob, jak mit prehled, kde co vyslo noveho. RSS neni urceno na to, aby to byl alternativni prohlizec. Plne texty clanku tam nepatri. To je muj nazor.

[Mikos]

Pořád nechápu o čem to mluvíš (co se větší zátěže týče). Já neprolézam každý článek/zprávičku zvlášt, parsuju jednu jedinou stránku (novinky... nebo klidně to může být úvodní stránka, to je jedno). Ta čtečka není dělaná tak aby prolézala celý server jako nějaký web spider, čte vždy jen jedinou stránku.

Navíc má vlastní cache (cachuje jak RSS tak HTML), defaultně nastavenou na 15 minut. Takže server zatěžuje IMHO _méně_ než běžná RSS čtečka (protože já měl třeba v Akregatoru nastaveno stahování RSS každých 5 minut).

[Leoš Literák]

Aha, ja myslel, ze funguje tak, ze ji zadas URL pro RSS a ona pak pro kazde URL v tom zdroji stahne dokument, najde text a vlozi jej jako description pro novy feed.

[Mikos]

Ježiš to ne, to by mě opravdu nenapadlo, to si uvědomuju že by pro server byla opravdu nepříjemná zátěž. Nic takového sem přeci v tom mém blogpostu nepsal.

[Leoš Literák]

Ja jsem cetl zapisek zrychlene a predstavil jsem si tu nejhorsi variantu

[Mikos]

Koukám že je tenhle můj blogpost dokonce ve výběru z blogů To jsem nečekal, bál sem se že to vezmete jako útok na vaše rozhodnutí neposkytovat v RSS kompletní znění zpráviček

V konfiguráku původně byl jako ukázkový feed nastaven právě i ten na zprávičky z ABCLinuxu, ale radši sem ho před zveřejněním smazal a nechal tam jen ten KDE Dot News Kdo chce může si ten regexp napsat sám, je to otázka pár minut Nebo by vám to nevadilo mohl bych ho tam v příští verzi klidně dát? Ony totiž po pravdě ty zprávičky na ABCLinuxu byl hlavní důvod proč sem RSSMan napsal...

[msk]

Pokud by se skutecne rozsirila, znamenalo by to zruseni RSS na abclinuxu

A tym stratu vacsiny citatelov ... :(

[Leoš Literák]

Furt lepsi, nez kdyby abicko bylo nepouzitelne pomale. Nastesti jestli jsem to pochopil, jedna se o webovou aplikaci. Takze se snad masove nerozsiri.

[msk]

Asi hej, videl som tam nieco v zmysle PHP, to tusim nejak suvisi s webom :O)

[Mikos]

Viz co sem psal výše - RSSMan neprolézá web jako nějaký spider, čte jen jedinou stránku. Navíc má vlastní cache. IMHO tedy server nezatěžuje o nic více než když člověk používá běžnou RSS čtečku (tedy krom toho že jednou za 15 minut nebo na jakou dobu člověk nastaví tu cache stáhne i stránku novinek/hlavní stránku).