Novinky o FatRatu - 12

22.4.2009 17:24 | Přečteno: 1925× | FatRat |

Tentokrát: rozhraní XML-RPC, podpora Qt 4.5 a libtorrentu 0.14.x, uloz.to a captcha a parsování odkazů z RSS zdrojů. Neznáte doposud FatRat?

Vývoj FatRatu několik měsíců stál na místě. Teprve nyní se dostávám k návrhu několika nových funkcí. V tomto blogpostu tedy nepředstavuji novinky, ale nápady, které budou postupně implementovány. Vývoj těchto funkcí proběhne v Git větvi "1.1" - ve větvi master je nyní rozpracovaný kód segmentování, který moc nedoporučuji používat. Jednak vám nepřinese nic navíc a k tomu riskujete poškozené downloady, protože kód má chyby.

Qt 4.5 a libtorrent 0.14

Od poslední verze uběhl už nějaký čas - vyšlo Qt 4.5 a libtorrent 0.14. Qt 4.5 si vyžádalo drobné změny kolem webového rozhraní vytvořeného v QtScriptu a libtorrent 0.14 přineslo změny API. Obojí je v Git větvi 1.1 podporováno a brzy vyjde nová verze FatRatu právě jen kvůli kompatibilitě. Nutno poznamenat, že se s novým libtorrentem u FatRatu občas třeba na půlminutu objeví zátěž CPU na 100 %, aniž bych tušil, co ta knihovna má tak důležitého na práci. Obecně mi libtorrent 0.13 přišel lepší. No nic, aspoň je ve FatRatu podpora magnet linků, takže pro stažení torrentu nyní stačí podobný link a funkční DHT:

magnet:?xt=urn:btih:HG5WMC5PWBOSASUWSVIUENDZQFJGC2EO&tr=http://tracker.prq.to/announce

To URL trackeru na konci je volitelná část. Obecně by mě zajímalo, jestli by soudy pronásledovaly ThePirateBay.org, pokud by neprovozovali tracker, nehostovali torrenty, ale jen ukládali podobné magnet linky.

XML-RPC a parsování odkazů z RSS zdrojů

První chystanou věcí je rozhraní XML-RPC, které nebude mít (z mé strany) hned využití, ale protože už mám kód kolem XML-RPC napsaný z pluginu fatrat-opensubtitles, je hračka tuto funkci zhotovit.
FatRat je nyní vybaven funkčností, díky které se vám mohou automaticky stahovat např. nové díly seriálů přes BitTorrent nebo nové podcasty, pokud si necháte sledovat patřičný RSS feed. Tuto funkci rozšířím tak, aby FatRat mohl vyparsovat určité odkazy z RSS položky - ve spojení s webem jako irfree.com půjde o užitečnou věc.

Uloz.to a captcha

Uloz.to je zajímavá česká služba pro hosting souborů. Na rozdíl od Rapidshare.com nabízí i možnost hledání ve svém rozsáhlém archivu. Tuto službu bych včetně vyhledávání rád integroval do FatRatu. Složitější bude řešení opis captcha - ten v případě Uloz.to díky slabosti systému stačí udělat jen jednou denně*, ale i tak si vyžádá úpravy v enginu. FatRat si bude muset být schopen korektně se situací poradit, i kdyžvěc. nemá žádné GUI, kde by o opis požádal. Mezitím musejí ostatní přenosy dostat šanci pracovat.

*) Navíc by bylo možné, aby se řešení captchy nasdílelo, takže by stačilo, aby to denně udělal jen jediný uživatel FatRatu.

P.S.: Vím, že je teď Mantis FatRatu mimo provoz. V Mantisu byla před časem chyba, kdy se řetězec napsaný uživatelem bez úprav vkládal do něčeho, co funguje jako eval(). Už druhý den někdo díry využil k provádění DoS útoků z mého serveru. Ta chyba byla programátorsky natolik drsná, že Mantis už ke mně nesmí, takže bugzilla bude, až vyberu a nainstaluju alternativu.

       

Komentáře

[progdan]

Co se te bugzilly tyce, doporucil bych treba FlySpray.

[Ladicek]

Používáme ho a nedávno jsem upgradoval na poslední verzi. Při té příležitosti jsem zjistil dvě věci: 1. ten projekt vypadá těžce mrtvě, i když jsem někde našel tvrzení vývojářů, že tomu tak není (teď to nemůžu najít znova), 2. vyhodili to z Debianu. Čas najít něco jiného, ale taky nevím co.

[default]

Jestli má vlastní server, já bych na jeho místě šel do Confluence a Jiry.

[Luboš Doležel (Doli)]

To vypada jako placena vec, o to nestojim. Navic je to v Jave, takze bych musel prikoupit pamet.

[Ladicek]

Open-source projekty můžou dostat licenci zdarma. A zhusta se to využívá (Apache, Codehaus).

[default]

A kolik taková paměť stojí?

(Co se licencí týče, Ladicek již odpověděl.)

[Luboš Doležel (Doli)]

Stoji ji najit, zaplatit, jet do housu, otevrit server, namontovat atd. Neboli vyjde lepe pouzit neco, co uziva pamet efektivneji.

[default]

Aha. Koukám, že problém je někde jinde.

[kotyz]

Problem se jmenuje lenost

[Luboš Doležel (Doli)]

Spíš neochota dělat něco zbytečného.

[kotyz]

To je skoro totez. Protoze sme liny, vybereme si tu snadnejsi (nekdy to zaroven znamena i lepsi) cestu.

[default]

nekdy to zaroven znamena i lepsi

A někdy zase horší.

[kotyz]

Nekdy jo.

[default]

A to je mírně řečeno. Ne, lidem od Open Source se člověk prostě nezavděčí. :'(

[Limoto]

A přijít o 158 dní uptime?

[Filip Jirsák]

Navic je to v Jave, takze bych musel prikoupit pamet.

Dalších 32 MB?

[Luboš Doležel (Doli)]

Kéž by Java žrala tak málo.

[Filip Jirsák]

Ještě Sunovské JRE 1.5 mělo výchozí nastavení maxima na 64 MB. A třeba web server s jednoduššími aplikacemi na tom bez problémů běžel.

[kilinux]

Výborně. A už se to dá konečně přeložit v ubuntu???

[lmanik]

Proc by se nedal? Kamos ho pouziva v kubuntu spokojene.

[Saljack]

Mě to šlo asi až do verze 1.1 v pohodě i s torrentem, ale od té doby to s torrentem nezkompiluju, ale stejně jsem torrenty nepoužíval.

Jinak jsem rád, že přicházejí další novinky ve fatratu. Nešla by udělat iskladka?

Jo ještě jedna věc co mě štve. Když dám linky z rapidu musím změnit stahování na rapidshare.com free (jenom když mám zadaný přihlašovací údaje na Collector's Zone prostě na free). Nešlo by to udělat aby to tahalo automaticky z rapidshare free? Mám to dát do bugzilly?

[Luboš Doležel (Doli)]

Měl jsem za to, že collectoři jsou vlastně premium. Jestli ne, tak to opravím.

[Saljack]

nn to není premium to je jenom na upload. Super to jsem rád, že se nebude opakovat to že ráno dám linky a odpoledne zjistím, že jsem to nepřepnul. Fatrat je fakt super a musím se přiznat, že se z něho učím jak používat Qt .

[Luboš Doležel (Doli)]

Tak už jsem to v Gitu opravil.

[David Watzke]

Podpora uloz.to bude krásná a ten nápad se sdílením kapči je pekelnej. To je frajer...

[Saljack]

Otázkou je jestli má cenu to vůbec vymýšlet, protože jestli na to přijdou tak je to v pytli a práce na nic.

[Luboš Doležel (Doli)]

Obecna architektura pro opis captcha se bude hodit. Takze nejhorsi varianta bude to, ze se bude muset captcha opisovat vzdy...

[Rezza]

Parada, diky! Hlavne ten torrent, zrovna jsem ti chtel psat, snazim se udelat balicka pro Fedoru, tak at je poradny (ted nekdo importoval Gloox, takze bude vse)...

[Martin Lebeda]

hmm, fatrat se mi docela líbil, ale zásadní chybou bylo, že nefungoval.

 

[Luboš Doležel (Doli)]

Doporučuji znovu zkusit v Gitu, ale větvi 1.1.

[s0]

ad mantis: jo, to byla lahůdka. Sice to poměrně svižně opravili, ale pěkně jsem si užil, když jsem se před adminy styděl, že jim shazuju celý apache :/

Dej kdyžtak vědět co sis vybral, a hlavně jak jsi přemigroval obsah (a nechci slyšet, že ručně ;))

[Luboš Doležel (Doli)]

Obsahu tam nastesti moc nebylo. Vcera jsem chtel zkusit Bugzillu a pri instalaci mi prislo, ze to neco dela s tabulkama Mantisu... nakonec jsem ale Bugzillu nerozjel. I pote, co si to postahovalo perlovske zavislosti, tomu porad neco chybelo a nemel jsem naladu na rucni instalaci dalsich X veci.

[Peter H.]

Mňa by zaujímalo, ako to vyzerá s podporou integrácie do Firefoxu, alebo funguje aspoň s FlashGot?

[kotyz]

S FlashGot to funguje.

[Peter H.]

A stále platí to (je to niekde v archíve), že pri sťahovaní viac odkazov (napr. FlashGot - vše) FlashGot spustí viac inštancií? Alebo sa to spravilo pomocou DBus, ako je napísané v dokumentácii?

[Luboš Doležel (Doli)]

Instance se vzdy spoustela jen jedna. Akorat tech pridavacich dialogu se ukazalo vic - to uz by melo davno byt OK.

[brm]

Mi chybí ve FatRatu jediná funkce. Nastavení čekání na další download z Rapidshare.

[Luboš Doležel (Doli)]

Co takhle nastavit, aby byl ve fronte aktivni vzdy jen jeden prenos.

[Zadejte vaše jméno]

Ale to by se musel ručně každý soubour pouštět ručně a nebyl by to automatizovaný downloader. S tím nastavením by počkal na uplynutí čekání, které Rapid obnovil ( cca 15 minut ). Takhle jsem musel ručně spouštět download a to je celkem opruz. Nehledě na to, že pak něco tahám i týden, nejsem furt u kompu.

[Luboš Doležel (Doli)]

To je nesmysl. Po dostažení jednoho se přece sám spustí další. Vždyť je to fronta.

[Zadejte vaše jméno]

Jenže to vyhodí chybu downloadu a hned skočí na další soubor. Takto pokračuje až na konec seznamu.

[Luboš Doležel (Doli)]

Tak to je ale bug, který se má nahlásit

[Zadejte vaše jméno]

To jsem netušil, že to je bug., když rapid oznámí čekací lhůtu a FR to vyhodnotí jako chybu.

[Zadejte vaše jméno]

Prostě musím čekat s dalším downloadem dokud neskončí čwkací lhůta Rapidu. To je těch 15 minut.

[Peter H.]

Vyskúšal som, nie je zlý, ale stabilnú verziu neskompilujem (Debian Testing) a git verzia ma štve s tým vyťažením procesora u libtorrent. Robí to v kuse aj 5 minút a na staršom počítači je to dosť poznať.

[David Watzke]

Nutno poznamenat, že se s novým libtorrentem u FatRatu občas třeba na půlminutu objeví zátěž CPU na 100 %, aniž bych tušil, co ta knihovna má tak důležitého na práci.

Asi aby si přišli na své i uživatelé SMP systémů. Ne že bych měl procesorů na rozdávání, ale týhle chyby jsem si nikdy nevšimnul.

[karlikj]

Musim rict, ze to je opravdu supr program, ale mel bych k nemu par pripominek.

Jedna celkem podstatna je, ze kdyz vypadne pripojeni k netu behem stahovani , tak program spadne. Proste se sam vypne.

No a druha vec je spis namet na pridani funkce casoveho stahovani. Abych si mohl nastavit kdy chci zacit stahovat dane soubory.

[Luboš Doležel (Doli)]

To používáš git master, že to padá, ne?

[karlikj]

Jojo , mam to nejakou vyvojovou verzi. Ve stabilni verzi to nepada?

[Luboš Doležel (Doli)]

V 1.1, ani v Git 1.1 to nepadá.

[Stehlo]

no mne to nepada ale konkretne z nicoho nic nejde web rozhranie.

QtScript runtime exception: SyntaxError: return outside function body on line 158

Backtrace:
()@/usr/local/share/fatrat/data/remote/index.qsp:158
()@:-1

a dalej:
QtScript runtime exception: ReferenceError: queue is not defined on line 297

Backtrace:
()@/usr/local/share/fatrat/data/remote/index.qsp:297
()@:-1

[Luboš Doležel (Doli)]

Pouzivate nove Qt a stary FatRat.

[Stehlo]

hmm, no novsi je mozne stianut? asi som prehliadol na webe, posledny V1.1? kompilovany pod QT4, kedze mam kde4.

[Stehlo]

No stale neviem aku chybu robim, ale mam fatrat stiahnuty z home straky fatrat, po kompilacii stale nejde web rozhranie. stale ta ista chyba ako vysie. Nema niekte .deb.balik funkcny? pre KDE4.2 ? poslite mi, please.