Novinky o FatRatu - 16

12.12.2010 01:05 | Přečteno: 1685× | FatRat | | poslední úprava: 12.12.2010 01:07

Tentokrát o připravených pluginech pro FatRat a rozšíření pro Google Chrome.

FatRat bude tématem mé bakalářské práce. Dřív jsem si myslel, že bakalářská práce má být nějaká hlubší výzkumná práce, ale minimálně na FELu/SW inženýrství má většina lidí bakalářku na téma "napsal jsem za dva víkendy 4 funkce do cizího projektu XYZ" a FatRat bude mezi ostatními pracemi evidentně docela vystupovat z řady. Na FatRatu se teď tedy intenzivně pracuje, což je vidět na aktivitě v Gitu.

Rozšíření ("pluginy v Javě")

Začal jsem psát skutečná rozšíření pro FatRat, zdroják je v Gitu pod projektem fatrat-jplugins. Rozšíření budou instalovatelná a aktualizovatelná přímo z programu.

Zatím jsem napsal stahovací rozšíření pro Uloz.to, HotFile.com, FileServe.com a MegaUpload.com. Když už jsem byl u toho, jak jsem na javovské straně napsal podporu pro uploady a dále také extrahování "link folderů" na některých z těchto serverů. Tato funkčnost ještě čeká na podporu na nativní straně programu.

Dlouho jsem přemýšlel, jak vlastně vyřešit zadávání captchy. Na rozdíl od jednoduchých stahovadel je to u FatRatu složitější věc: FatRat může mít vícero frontendů (GUI, webové rozhraní, Jabber...) nebo dokonce žádný. Z toho vyšly dvě nezbytnosti:

1. Zadávání captchy nesmí zablokovat frontu, když nemá captchu kdo zadat
2. Rozhraní musí být univerzální a snažit se "dovolat" uživatele přes více frontendů

První věc je vyřešena časovým limitem - ve výchozím nastavení 30 sekund - které má uživatel na to, aby začal captchu zadávat, jinak bude žádost stažena, přenos selže a půjde se dál. Co se druhé věci týče, zatím je hotový jen frontend pro GUI.

FatRatu se dotýká ještě jedna implementační věc, která jej odlišuje od různých stahovadel z file sharing serverů. Model n vláken na n přenosů je v celém FatRatu považován za nepřijatelný a stejně je tomu tak u těchto rozšíření. Nebude tedy (aspoň prozatím) možné využívat pluginy z JDownloaderu nebo FreeRapid Downloaderu. Rozšíření pro FatRat využívají callback mechanizmů (v Javě listenerů), jejichž princip asi hodně z vás zná třeba z XMLHttpRequest z JavaScriptu.

Rozšíření pro Google Chrome

Na webu jsem vytvořil stránku o integraci s prohlížeči a napsal jsem primitivní rozšíření pro Google Chrome. Pro každou platformu/architekturu CPU se musí vytvořit rozšíření zvlášť, protože obsahuje nativní NPAPI plugin. Řeknu vám, humus jako NPAPI jsem dlouho neviděl. Ke stažení je rozšíření pro Linux/x86-64, zatím jsem ještě nekompiloval pro x86, ale můžete se o to pokusit sami, kód je v Gitu.

Rád bych udělal i rozšíření pro Operu 11, její API ale bohužel nenabízí integraci s kontextovým menu, kde mi to zrovna přijde nejvhodnější. Tak snad brzy.

Co dál

Toto jsou mé úkoly na tento semestr. Kromě toho jsou v blízké budoucnosti v plánu tyto věci:

• Podpora upload rozšíření
• Podpora "linklist extractor" rozšíření
• Podpora ještě více file sharing serverů
• Trochu kostrbatější podpora Metalinků
• Slučování souborů .001, .002, ...
• Vyhledávání titulků na Sublight.si (SOAP API)

Mezi dlouhodobější plány patří vestavěný FTP klient a další věci z TODO listu.

       

Komentáře

[kotyz]

click'n'load link kontejnery uz to umi? kvuli tomu sem si ted musel nainstalovat jdownloader, protoze to je snad jedinej program co to umi. a na forech se to ted hodne pouziva.

[Luboš Doležel (Doli)]

Co že to je?

[Luboš Doležel (Doli)]

Aha, no není divu, že je to jedinej program, co to umí, když je to jejich výmysl udělaný na míru pro ně Ale tohle by snad a) řešil nějaký wrapper skript b) je to vůbec třeba, když se program integruje s prohlížečem jinak?

[zulu]

NPNFuncs = *pFuncs;

[Luboš Doležel (Doli)]

Jo, to je pravda. Ale tahle příšernost není můj nápad, ale dílo vývojářů Mozilly. Je to okopírované přímo od nich.

[Michal Fecko]

Prosím nebrať túto otázku ako provokáciu, ale nechystáš sa portovať FatRat na Windows poprípade nenašiel by sa nejaký dobrák - nakoľko ho používam na Linuxe - celkom som si na neho zvykol,a chcel by som ho používať aj vo "Windows-based" kompoch ktoré spravujem?

[Luboš Doležel (Doli)]

Je to i ve FAQ, nechystám. V programu je navíc silně využíváno POSIXové API a vlastnosti specifické pro unixové systémy (například možnost exportovat funkce nejen z knihoven, ale i ze spustitelných binárek: -export-dynamic).

[vulgární Nick]

Tohle onehdá nabízel Jardík. Kolik litrů za to tehdy chtěl? :)

[limit_false]

Asi nejjednodussi by to bylo zprovoznit pres cygwin, ale pak to nebude zadna "light" aplikace. POSIX API se vyresi cygwinem, dbus ma sice win port, ale naposled co jsem ho zkousel to bylo primo tragicky (taky je to par let zpatky).

[David Watzke]

DBus by bylo mnohem jednodušší odmontovat, když už by se někdo do takový zhůvěřilosti pouštěl.

[std]

Ja bych hlasoval za 2 veci:

• udelat Java pluginy optional, nejlepe jako runtime option, kterym by slo vypnout zavislost na Jave/JNI celkove, nebo alespon jako compile-time option
• udelat framework pro vicero "link-deobfuscator" pluginu (jako rapidsafe), ale tak, aby se to mohlo pridavat primo do download listu misto pres "rapidshare tools" (kdysi jsem zacal kvuli tomu predelavat fatrat, ale pak jsem na to zapomel); je to celkem UI drobnost (o par kliku mene, ale potesi)

Na deobfuscator plugin interface by mozna pro zacatek postacovaly dve metody, bool canDecode(const QString&) a QString decode(const QString&), zkouselo by je to treba linearne za sebou (s tim, ze canDecode by nemela blokovat na dlouho, nebo to nejak chytre vymyslet pres signaly/sloty).

[Luboš Doležel (Doli)]

To první je hotové a dokonce oběma způsoby.

To druhé půjde implementovat jako link extractor. Ve výsledku je fuk, jestli je to čistá extrakce nebo nějaké dekódování. Jinak ve FatRatu nesmí nikdy nic blokovat, jak jsem psal v zápisku.

[std]

Diky.

BTW fatrat byl uz ve verzi 1.0 asi 1000x lepsi nez vetsina bakalarek co jsem videl.

[pedro]

Kdyby nebyl FatRat tak Fat, tak bych tu krysu asi i pouzival... Proste mam radsi jedoucelove programy. Ale projekt je to stejne uctyhodny, holt kazdy ma jiny vkus.

[David Watzke]

FatRat si můžeš zkompilovat tak, aby dělal v podstatě jen to, co od něj chceš.

[pedro]

No jo, mas pravdu, ted jsem si to nasel na domovskych strankach. Tohle je bod navic pro FatRat (a pro Gentoo )

[Semo]

Sposob ako to pridat do kontextoveho menu pre Operu je trivialne jednoduchy a funguje uz pekne dlho (minimalne 5 rokov, pravdepodobne aj viac). Opera ma textove konfiguraky vratane popisu vsetkych menu v celom programe (hlavne menu, vsetky podmenu, vsetky kontextove menu atd.), takze sa da len editovanim suborov a pridanim ikon do zipu so skinom zmenit na nepoznanie. Vobec na to netreba rozsirenia.

Do suboru, ktory je uvedeny tu: opera:config#UserPrefs|MenuConfiguration pripisat do sekcie [Link Popup Menu] riadok:

Item, "Download link with FatRat" = Execute program, "fatrat", "%l"

(Za predpokladu, ze staci spustit fatrat s linkom ako argumentom. Inak namiesto "%l" nieco ako "--download-link %l". Nepouzivam zatial FR, tak netusim syntax cmdline parametrov.)

[Luboš Doležel (Doli)]

No vida, to jsem neznal. Dám tuto informaci na web. Díky.

[Luboš Doležel (Doli)]

Teď koukám, že ten postup není úplně tak triviální a obecně dobrý.

Já ten soubor nemám a pokud jej vytvořím se sekcí "Link Popup Menu", tak ta kompletně přebije výchozí menu. Problém je v tom, že pokud si něco takového vytvořím a překopíruju tam položky z originálu v /usr/share/opera/ui/, tak pokud nová verze Opery do menu přidá něco užitečného, tak to já se svým vlastním ini souborem neuvidím.

[Semo]

Vytvorit vlastnu kopiu/modifikaciu je mozne aj oficialnou cestou cez Preferences/Toolbars/Menu Setup/Duplicate. Cim sa skopiruje default menu pre aktualnu verziu Opery do user profilu a user si to moze potom poeditovat k obrazu svojmu. Zaroven tym ale zafixuje aktualne nastavenie aj v pripade buduceho upgradu defaultnych definicii. Uplne rovnako to funguje aj pre definiciu klavesovych skratiek, mouse gestures a nastavenie toolbarov. Takze by som to videl viac na featuru Opery ako na bug.

Hlavne ma ani nenapada, ako logicky konzistentne vyriesit problem, ze user si smie editovat ktorukolvek z tych definicii a globalne upgrady mu nesmu jeho nastavenie znicit. A poeditovat neznamena len nieco pridat, ale aj vyhadzat nepouzivane blbosti.

Napr. ja mam kontextove menu ku oznacenemu textu webstranky len o 5 riadkoch: Copy; Search; Search s vyberom enginu; Tranlate En -> CZ; Go to URL. (en->cz otvara slovo na seznamackom slovniku). Fakt tam nepotrebujem blbosti ako Encyklopedia; Send to email a plno dalsich. Impulsom k tomu, aby som si to nastudoval bola tusim verzia 10.10, ktora vyradila asi Go to URL z najcastejsieho kont. menu a ja som sa s tym odmietal zmierit. Podobne mam aj vyrobene tlacitka a pridane do toolbaru, ktore aktualnu stranku otvoria vo FF, Konq, pripadne spustia skript, ktory podhodi aktualnu stranku programu youtube-dl a ziskane priame url streamu otvori v mplayeri (mam vyborne ovladanie videa a utiahne to aj moj 5 rocny procak).

[mirec]

Chcel by som sa spýtať, či je možné pre fatrat napísať vlastný metaplugin (plugin, ktorý si loadne vlastné pluginy v inom jazyku)?

[Luboš Doležel (Doli)]

Určitě, ale bude to asi docela dost práce.

[mirec]

Super, keď budem mať čas, alebo budem ožratý ako delo tak sa na to pozriem. Minule keď som bol ožratý napísal som si malý commandline downloader s pluginmi ;) Funguje lepšie než moje triezve pokusy ;)

[Luboš Doležel (Doli)]

Smí se zeptat, co že to bude loadovat - v jakém jazyce to bude? Jestli Python, tak nejpřímočařejší řešení je použít Jython a mít to hezky v .jar.

[mirec]

Python, java mi nefunguje. So spoluprácou C++ a pythonu mám skúsenosti od ručného volania python c api až po boost.

[Luboš Doležel (Doli)]

FatRatu stačí mít příkaz 'java' v PATH a poradí si s tím sám. Jinak lze použít JAVA_HOME. Pro kompilaci stačí CMake nasměrovat k hlavičkám JDK.

Dělat to pro Python bude dost redundantní práce zvážím-li, že teď mám v plánu napsat návod, jak psát pluginy pro FatRat s Jythonem.

[Limoto]

Těším se na návod

[mirec]

:) mirec@kofola ~ $ java
bash: java: príkaz nenájdený
127 :( mirec@kofola ~ $

Dôsledok toho, že java ma istého času keď som ju potreboval vytočila tým, že segfaultovala pri každom programe väčšom ako hello world.

Dělat to pro Python bude dost redundantní práce zvážím-li, že teď mám v plánu napsat návod, jak psát pluginy pro FatRat s Jythonem.

Mne stačí obyčajné C++ rozhranie (1 hlavičkový súbor), ja si už bindingy na python nagenerujem.

[limit_false]

Mozna je uz na to pozde, ale misto primeho volani JNI bych doporucil swig (lze pak relativne jednoduse pridat dalsi jazyky). Nenechat se zmast tim, ze to ma "simple" v nazvu, na zacatku je to celkem oser, kdyz se to uz ale clovek nauci, tak to posloucha . Uz se mi to nekolikrat hodilo (s Java, Python, Lua).

Ma zkusenost s JNI (opacny smer, volani nativniho kodu z Javy): onehda jsem psal softwarovy projekt (povinne na MFF) v Jave a chtel jsem pouzit C-ckove knihovny pro cteni ext2/3, fat12/16/32. Stravil jsem tim tolik casu, ze nakonec to vyslo rychleji napsat "from scratch" v Jave. Akorat jsem nadaval na rozhodnuti nedat do javy unsigned integery