Mocnější vyhledávání

6.7.2005 17:48 | Přečteno: 1573× | Abíčko | poslední úprava: 8.7.2005 10:31

Svátky pomalu končí a tak mám pro vás poslední novinku pro tento týden. A tou je předělání vyhledávání - hezčí vzhled i ukázka nalezených dokumentů.

Po menších peripetiích jsem si stáhnul verzi modulu highlight, která je kompatibilní s verzi Lucene, kterou používám. Kupodivu to nebylo moc složité a máme zvýrazňování, tak jak jej znáte z googlu a spol. Přitom jsem předělal i vizuální podobu výsledků, aspoň mě to teď přijde hezčí. On si s tím určitě Robert pohraje.

Odstranil jsem skóre, které spíše mátlo než pomáhalo. Také jsem zmenšil počet výsledků na stránce, vlastní hodnotu si můžete nastavit v profilu. Já si ji zmenším.

Začal jsem indexovat datum vytvoření a poslední změny u všech objektů, zatím se mi ale nedaří podle nich hledat. Lépe jsem dopadl s tím, zda je diskuse vyřešena (vyreseno:ano/ne) a počtu odpovědí (odpovedi:cislo). Začal jsem psát i nápovědu, časem do ni přidám všechny informace.

Teď se zrovna reindexuje databáze, změny byly nekompatibilní a tak teď hledání padá. Ale za deset minut si můžete hrát. Později přidám do výpisu více informací, hlavně datum vytvoření a/nebo poslední změny, u diskusí pak hodnoty zmíněných políček. Kousek kódu pro programátory, sám jsem něco podobného ráno potřeboval, protože ukázka v dokumentaci modulu highlight není úplná.

AbcCzechAnalyzer analyzer = new AbcCzechAnalyzer();
Query query = AbcQueryParser.parse(queryString, analyzer, types, newsCategories);
IndexReader indexReader = IndexReader.open(CreateIndex.getIndexPath());
query = query.rewrite(indexReader);
Searcher searcher = new IndexSearcher(indexReader);
Hits hits = searcher.search(query);
int total = hits.length();

SimpleHTMLFormatter formatter = new SimpleHTMLFormatter(
"<span class=\"highlight\">", "</span>");
Highlighter highlighter = new Highlighter(formatter, new QueryScorer(query));
for ( int i=from,j=0; i<total && j<count; i++, j++ ) {
    Document doc = hits.doc(i);
    float score = (hits.score(i)>0.01) ? hits.score(i) : 0.01f;
    doc.add(Field.UnIndexed("score", percentFormat.format(score)));

    String text = hits.doc(i).get(MyDocument.CONTENT);
    TokenStream tokenStream = analyzer.tokenStream(MyDocument.CONTENT, 
                              new StringReader(text));
    String result = highlighter.getBestFragments(tokenStream, text, 3, "...");
    doc.add(Field.UnIndexed("fragments", result));

    list.add(doc);
}

       

Komentáře

[©]

... a díky za každé nové vylepšení.

[phax7]

Abclinuxu.cz je nejvymakanější portál co znám - a to včetně zahraničních. Každý detail je odladěný a stále se vylepšuje... a važte si toho, chválím málo:)

[Ondrej]

Velmi me potesil nahled nalezeneho prispevku, to muze opravdu pomoci pri proklikavani desitkami nalezu Co bych ale obnovil, to jsou hodnotici procenta - clovek pak hned na prvni pohled vedel, jestli je tam ten vyhledavany termin zastoupen casto nebo jesti je to jenom lehke dotknuti

[Leoš Literák]

Google take nezobrazuje relevanci a nikomu to nevadi. Nalezene prispevky jsou stejne razeny podle tech procent, akorat to nevidite.

Vypocet tech cisel je dost velka magie, v dokumentaci Lucene najdete pekne nechutny vzorecek. Tezko z tech cisel neco poznate, proc ma jeden dokument skore 75% a jiny 12%. Pocita se nejen pocet vyskytu, ale treba i delka dokumentu hraje roli.

Kdyz jste videli procenta, tak jste treba automaticky preskokovali objekty majici skore mensi nez 10%. Jenze ten dokument mohl mit reseni vaseho problemu, mel ale tu smulu, ze byl treba velmi dlouhy a hledany vyraz se v nem zopakoval jen nekolikrat. Ted kdyz cisla nevidite, proste budete klikat na dalsi stranku s vysledky a kliknete i na dokument, ktery byste jinak ignorovali.

[unchallenger]

Hledání je pěkné, ale mám moc široký nebo moc úzký monitor?

[Leoš Literák]

Jake mas rozliseni? Nicmene tohle asi budu muset resit, holt to hodim do dalsiho sloupecku, kdyz se text rozpadne, at je to pod sebou.

[Michal Čihař]

Mně to dělá taky když si zapnu sidebar, rozlišení 1280x800.

[unchallenger]

1280x1024, i když napravo mám gkrellm a mozillí tab bar, takže zbývající plocha pro stránku je široká něco přes 1 kpx.

[Leoš Literák]

Me to vypadalo dobre v 1024x768 i v 800x600. Nicmene jsem to presunul pod formular. Je to tak lepsi? Mozna bych tam mohl soupnout i napovedu.

[mmrnda]

Je to paráda.

PS: Umístění by mohlo být vlevo jak bývalo. Teď mi to příjde takové nepřehledné, když je to až za názvem článku(diskuse).

[Leoš Literák]

Nechapu to umisteni. Ceho se tyka? Formulare? Asi myslis typ objektu. Planuju, ze ten typ objektu (i s diakritikou) pujde na novy radek a zobrazi kontextove informace (pocet odpovedi, zda je vyresena, datum vytvoreni, datum posledni zmeny).

[mmrnda]

Omlouvám se, že jsem to tak špatně popsal. Myslel jsem to kde je článek umístěn (diskuse, článek, blog, zprávička).

[Leoš Literák]

Uz jsem na to prisel: nvidia vytvoreno:[1.7.2005 TO 7.7.2005]

najde vsechno, co bylo vytvoreno v danem casovem useku a obsahuje slovo nvidia. U diskusi je lepsi pouzit policko zmeneno (pozor - je to datum posledni zmeny, ne ze v danem case se neco zmenilo).