Žirafa - quick'n'dirty vyhledávač

9.8.2007 08:55 | Přečteno: 1372× | Dev/Tech/Gnu |

Když jsem bydlel na koleji, napsal jsem vyhledávač, který běžel na kolejním serveru a indexoval obsah FTP serverů okolo (rozumněj, semestrálky a tak . Byla to Java+Tomcat+Lucene a s oblibou jsem ho používal na vyhledávání svých vlastních mptrojek.

Už na koleji nebydlím a svou Lucernu (tak se to jmenovalo) používat nechci. Navíc mám mptrojky uložené na externím USB disku a nechci mást svého Trackera tím, že disk občas odpojím. Taky mám hrůzu z všelijakých media library přibalených k přehrávačům (oblíbený XMMS nic takového nemá, proto je taky oblíbený). Navíc chci indexovat i svou sbírku e-booků, i když jen názvy souborů. Locate se taky nehodí.

Tak jsem si včera během tří hodin napsal v Pythonu vyhledávač Giraffe. Je to poctivý vyhledávač na bázi invertovaných seznamů, žádný humus jako grep se složitostí O(n). Mám k tomu i grafické rozhraní ala GTK. Zajímalo by mě, jak dlouho bych to psal v C++, v Pythonu to byla vážně radost.

Funguje to tak, že se na začátku vytvoří index pro vybrané adresáře. Index se uloží a pak prohledává buď CLI utilitkou nebo grafickým klikátkem (search as you type).

Udělal jsem k tomu i logo a stránku se screenshotem, návodem a stažením. Má to 260 řádek, licence je pochopitelně Public Domain.

       

Komentáře

[Kyosuke]

A proč si vlastně Pythonisté z Ruby ještě nenaportovali Ferret? V případě větších objemů dat by se asi stěží hledalo něco rychlejšího a určitě je to lepší než znovyvynalézat kolo (nebo GCJovat Lucene, brrr...).

[paskma]

Lucene je super, PyLucene je fakt trochu přes ruku. O Ferret slyším poprvé, ale je to sympatické.

Někdo by to přepsat mohl, ale já to nebudu. Jinak já jsem Pythonista z donucení, Ruby je krásnější . Síla obou jazyků je ale stejná. Jako Java vs C#.

[xpj]

žádný humus jako grep se složitostí O(n).

To ale není zas tak hrozné, ne?

[paskma]

Pro desetitisíce souborů (můj případ) nebo miliony (ty koleje) to jde. Ale když to trvá půl sekundy, tak už to na desktopové aplikaci může být nedostatek. Google pochopitelně O(n) být nemůže

Já navíc švindluju. Při startu aplikace se celý index načte do paměti, ale dotazy jsou v podstatě O(1). I když je to závislé na tom, jak je které klíčové slovo populární.

[tired joe]

Páči sa mi logo/ikona.

[Lu-Tze]

Ikona mate, skoro jsem se těšil, že to bude v Haskellu, jediném pořádném funkcionálním jazyce :-P

[thingie]

No taky mi to přišlo jako nějaká lambdažirafa.

[paskma]

Díky, já žeru Inkscape a občas v něm něco splácám.

[brk]

Tak se mi líbí a obzvlášť u něčeho, co mělo vzniknout za tři hodinky. Působí to dojmem, že se tomu autor věnoval hodně dlouho, když měl čas i na takové detaily.

[paskma]

To logo jsem večer ještě předělával, původní verze jsou v tarballu. Ta první verze je trochu humpolácká.

Když je inspirace, tak se to v Inkscape vyfikne za deset minut. Navíc je to otázka priorit - loga prostě kreslím rád.

[Lu-Tze]

Je to poctivý vyhledávač na bázi invertovaných seznamů, žádný humus jako grep se složitostí O(n).

LOL. No ono taky ten hloupý grep může mít paměťovou složitost třeba O(1). Zatímco tvoje asociativní pole kdóvijakou. Nehledě na to, že kdyby to někdo používal tak, že by to spustil pro každé vyhledávání (a pak ukončil), tak jsme vzhledem ke způsobu uložení indexu zpátky na O(n)

Rozdíl o proti tomu zmíněnému C je v tom, ža tam bys moh implementovat aspoň paměťově úsporný prefixový strom, v pythonu by to možná věci jenom zhoršilo

[Kyosuke]

Hmm, a co sufixový strom, kdyby chtěl hledat opravdu pořádně?

[Lu-Tze]

Znamená to, že třeba google nehledá opravdu pořádně?

[Lu-Tze]

Nevíte někdo, co jsem tím chtěl říct?

[thingie]

Víme. Chceš číslo účtu?

[Lu-Tze]

Ani ne. Informace o tom, že to víš ty, mi stačí k tomu, abych to věděl i já.

[paskma]

Ale no tak, neber mě za slovo, s O-notací se dá čarovat všelijak. A že asociativní pole může mít k O(1) pěkně daleko? Who cares? Kdybych to implementoval hrubou silou, třeba by to bylo stejně rychlé, ale já tam mám invertovaný seznam pro radost

[fakenickname]

pekny.. dobry projekt, libi se mi. pro me sice nic moc pouzitelny (davam prednost find), ale vazne pekne..

[thingie]

Proč musí být každý kousek kódu hned *projekt*?

[fakenickname]

proc musi byt na abicku tolik zbytecnych komentaru?

[Lu-Tze]

Protože je píšeš.

[tired joe]

Ignor, Ignor, toto bolo úplne zbytočné :D

[thingie]

Ale pravdivé.

[paskma]

Find nesnáším. Nesnáším totiž zbytečně zaplácnutou cache

[Miloslav Ponkrác]

Jen bych zareagoval, pokud bys v C++ opravdu uměl, tak bys to nepsal o moc déle, než v Pythonu.

[paskma]

No, člověk, co v C++ opravdu pravidelně dělá by takovouhle tic-tac-tou blbost jistě napsal taky rychle. Nicméně na takovéhle prototypování jsou skriptovací jazyky určitě lepší. Nulový čas obrátky se prostě hodí, nepřemýšlet tolik nad typama se taky hodí, neřešit hlavičkové soubory se taky hodí. Takový slovník z Pythonu je něco dočista jiného než obdoba v STL.

[Jan Kundrát (jkt)]

kdyz uz to pises v pythonu, proc znova reimplementujes os.path.walk()?

[paskma]

Bateries included . Nevěděl jsem o tom a navíc jsem si to poprvé v životě rád napsal jako generátor.