abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
včera 20:20 | Bezpečnostní upozornění

Byly vydány verze 1.1.0b a 1.0.2j kryptografické knihovny OpenSSL. Dle bezpečnostního upozornění byly opraveny bezpečnostní chyby CVE-2016-6309 (Debian) a CVE-2016-7052 (Debian) způsobené nepříliš povedenou opravou bezpečnostních chyb minulý týden (zprávička).

Ladislav Hagara | Komentářů: 0
včera 17:47 | Komunita

Byly zveřejněny videozáznamy přednášek a prezentace (pdf) z konferencí vývojářů LLVM a GNU Tools. Konference proběhly v městečku Hebden Bridge. Jednodenní konference LLVM Cauldron 2016 proběhla 8. září. Od 9. do 11. září probíhala na stejném místě třídenní konference GNU Tools Cauldron 2016.

Ladislav Hagara | Komentářů: 0
včera 12:43 | Nová verze

Po téměř 11 měsících vývoje od verze 0.10.0 (zprávička) byla vydána verze 0.11.0 hardwarově nenáročného desktopového prostředí LXQt (Lightweight Qt Desktop Environment) vzniklého sloučením projektů Razor-qt a LXDE (zprávička). Z novinek lze zmínit například pavucontrol-qt, Qt port audio mixéru pavucontrol z projektu PulseAudio. V lxqt-config přibyla možnost nastavování jasu. Vylepšena byla podpora více monitorů.

Ladislav Hagara | Komentářů: 12
včera 12:00 | Nová verze

Po 9 měsících vývoje byla vydána nová verze 0.5.0 (GitHub) klasické 2D plošinovky inspirované sérií Super Mario SuperTux. Z novinek lze zmínit především nový integrovaný editor umožnující editovat úrovně a mapy přímo ze hry.

Ladislav Hagara | Komentářů: 0
24.9. 14:11 | Komunita

Už jenom do pondělí 3. října lze přihlásit přednášku nebo workshop, nebo také navrhnout zajímavé téma nebo osobu, na brněnskou open source, open mind a open hardware konferenci OpenAlt 2016, jež navazuje na konference LinuxAlt a Openmobility a proběhne 5. a 6. listopadu 2016. Inspirovat se lze loňským ročníkem.

Ladislav Hagara | Komentářů: 0
24.9. 13:33 | Nová verze

Po šesti týdnech od vydání verze 5.1.0 (zprávička) byla vydána verze 5.2.0 správce digitálních fotografií digiKam (digiKam Software Collection). Kromě oprav chyb, v Bugzille bylo uzavřeno 42 záznamů, přináší nejnovější digiKam také nový nástroj pro potlačení efektu červených očí vytvořený v rámci letošního Google Summer of Code 2016.

Ladislav Hagara | Komentářů: 0
24.9. 12:55 | Bezpečnostní upozornění

Americká společnost Yahoo, provozující stejnojmenný internetový portál, oficiálně potvrdila bezpečnostní incident z konce roku 2014. Dle tiskové zprávy ukradl státem podporovaný útočník údaje o 500 milionech uživatelích. Jedná se o jejich jména, emailové adresy, telefonní čísla, data narození, haše hesel (bcrypt) a v některých případech také bezpečnostní otázky a odpovědi na ně.

Ladislav Hagara | Komentářů: 0
23.9. 16:46 | Nová verze

Po třech týdnech od vydání wattOS R10 LXDE oznámili vývojáři odlehčené linuxové distribuce wattOS také vydání wattOS R10 Microwatt. Obě vydání vycházejí z Ubuntu 16.04.1 LTS. Výchozím správcem oken v Microwattu je dlaždicový (tiling) i3, webovým prohlížečem Surf, správcem souborů PCManFM a pdf prohlížečem Mupdf. Ukázka prostředí na YouTube.

Ladislav Hagara | Komentářů: 5
23.9. 01:01 | Zajímavý projekt

Vidar Holen aktualizoval svůj přehled s počty (sprostých) slov (Internet Archive) obsažených ve zdrojových kódech Linuxu. Nejedná se pouze o přidání zdrojových kódů nových verzí Linuxu. Přidána byla především možnost definování si vlastních slov.

Ladislav Hagara | Komentářů: 25
22.9. 15:29 | Bezpečnostní upozornění

Byly vydány verze 1.1.0a, 1.0.2i a 1.0.1u kryptografické knihovny OpenSSL. Dle bezpečnostního upozornění bylo opraveno několik bezpečnostních chyb. Nejvážnější z nich je CVE-2016-6304 (Debian) v OCSP rozšíření.

Ladislav Hagara | Komentářů: 0
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (25%)
 (29%)
 (34%)
 (7%)
 (4%)
 (0%)
Celkem 136 hlasů
 Komentářů: 2, poslední 23.9. 14:22
    Rozcestník
    Reklama

    Jak na vlastní fulltextové vyhledávání?

    22.4.2012 22:00 | Přečteno: 2693× | Tábor

    Aktuálně jsem postaven před problém, jak vytvořit relativně kvalitní fulltextové vyhledávání na vlastním webu. Pravdou je, že existuje řada služeb online, které fulltext na web umí přidat. Mezi možné kandidáty patří Google který mě osobně nevyhovuje, neboť prvním výsledkem ve vyhledávání je vždy placená reklama. Ačkoliv postoj google chápu, tak je to nejlepší způsob, jak poslat návštěvníka ke konkurenci.

    Druhá, hodně doporučovaná možnost je Atomz který po cca 2 měsících zkoušení nefunguje tak, jak bych chtěl. Ačkoliv jsem v nastavení na atomz zvolil indexovat 1x týně, tak po měsíci jsem zistil, že stejně nic neindexuje. Jediná šance je se na atomz hlásit a vždy obnovovat index. Bohužel, toto je problém. Často zadám do Atomzu hledat něco, co na webu mám ale Atomz to nenajde. Bohužel takovéhle vyhledávání mi hodně nevyhovuje.

    Mrkněte sami, jak to s Atomzem vlastně vypadá

    Tento zápisek má v podstatě posloužit k rozvíření diskuze an téma vlastního fulltextu. Na webu mám inplementovaný http://www.taboreni.cz/sitemap.xml a z něj bych asi nejraději vycházel. Asi bych dle sitemaps celý web třeba 1x za 24 hodin grabnum wgetem a nějak "zpracoval" obsah a uložil do databáze. Pak bych měl tabulku v DB která by vždy obsahovala html titulek, H nadpisy, textový obsah a URL... a teď je jen otázka, jak postavit vyhledávací script.

    Chtěl bych, aby hledání probíhalo fultextově, nezáleželo na diakritice (ATOMZ diakritiku neumí a tak vyhledává špatně), rád bych aby se upřednostnil titulek, pak nadpisy Hx a nakonec obsah webu.

    Nemáte nějaké nápady a zkušenosti?

           

    Hodnocení: 100 %

            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    Fluttershy, yay! avatar 22.4.2012 22:18 Fluttershy, yay! | skóre: 81 | blog:
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Blbec z Horní Dolní avatar 22.4.2012 22:21 Blbec z Horní Dolní | blog: blbeczhornidolni
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Outsourcuj to do Indie.
    23.4.2012 00:20 Adam
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    :-D Sa smejes ale ono pri CAPTCHA to funguje
    22.4.2012 22:29 retroslava | skóre: 8 | blog: TryCatch | Žižkoff
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Třeba http://postgres.cz/wiki/Instalace_PostgreSQL#Instalace_Fulltextu ?
    Pozor! Jsem naprostý idiot. Co jsem napsal včera dnes už dávno neplatí. Zavazuji se, že budu diskutovat nezávazně.
    Johny z Podoli avatar 22.4.2012 22:36 Johny z Podoli | skóre: 26 | blog: rocfdebian
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    to už jsem viděl, bohužel mám firebird (interbase) ;-)
    Můj web o táborech: Letní dětské tábory, Hudební tábor , Můj nový blog na Nul.cz
    bazil avatar 22.4.2012 23:03 bazil | skóre: 33 | blog: sluje | Miroslav
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    No nevím, jak ve Firebirdu, nicméně v MySQL se to řeší buď: přidáním fulltextu nad sloupcem, což se může negativně projevit na výkonu dotazů nad danou tabulkou nebo (podle mě lepší řešení): se vytvoří v DB jedna tabulka navíc, každý text v DB má na ni vazbu a při každé úpravě textu se musí upravit i tabulka. Potom se vybuduje fulltext nad touto tabulkou. Prioritizace nadpisů by se dala zařídit vlastním sloupcem pro nadpisy v tabulce pro vyhledávání.

    Nevýhodou tohoto řešení je vyšší režije při aktualizaci textu v DB (ale to se děje jen při vkládání nového článku, nebo úpravě starého), naopak výhodou je, že se zachová rychlost selectů nad stávajícími tabulkami s texty (při normálním prohlížení webu nejčastější dotaz) a zároveň se získá fulltextový klíč pro vyhledávací skript, který je tedy poté trochu pomalejší, ale zase vyhledávací select se nebude pouštět tak často.
    22.4.2012 23:05 marbu | skóre: 28 | blog: hromada | Brno
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Kdybych si s tím chtěl hrát, zkusil bych provozovat vlastní instanci lucene, sphinx nebo nějakého jiného open source search engine.
    I think warning here is a bug. The biggest cloud service provider. There is no point in being so cool in a cold world.
    limit_false avatar 23.4.2012 12:52 limit_false | skóre: 21 | blog: limit_false
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Taky bych doporučil Sphinx. Ze začátku to bude trocha pruda, ale fungovalo to celkem rozumně, později se ladily jenom váhy a možná občas příliš pomalé dotazy.
    22.4.2012 23:35 Ondra
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Josef Kufner avatar 22.4.2012 23:42 Josef Kufner | skóre: 66
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Kdysi na Rootovi a tuším, že i tady, vyšlo pár článků. Je to ale už hodně dávno... cca kolem roku 2005. Leoš tu tou dobou také řešil něco kolem Lucene.
    Hello world ! Segmentation fault (core dumped)
    22.4.2012 23:49 dad
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    my pouzivame mnogosearch
    mess avatar 23.4.2012 00:25 mess | skóre: 43 | blog: bordel | Háj ve Slezsku - Smolkov
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    SELECT * FROM articles WHERE title LIKE %neco% AND content LIKE %neco%;
    :-D
    Cez párne mesiace zošíváš vaginy, cez neparne montuješ hajzle.
    Johny z Podoli avatar 23.4.2012 00:41 Johny z Podoli | skóre: 26 | blog: rocfdebian
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    nojo, kdyby těch tabulek nebyly desítky, sloupců stovky a hromada dat není z databáze ale je generovaná onfly scrpty a podobně ;-) bohužel...
    Můj web o táborech: Letní dětské tábory, Hudební tábor , Můj nový blog na Nul.cz
    Migilenik avatar 23.4.2012 01:32 Migilenik | skóre: 58 | blog: Mig_Alley
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Off Topic:

    Nevim už kde, ale nedavno jsem četl jakysi članek doporučující rodičům webové stránky s katalogy táborů. Takové ty články "kam poslat děti na prazdniny at maji rodiče pokoj".

    Ten tvůj portál byl na prvním místě a dlužno říci že ze všech zmíněných webů působil naprosto nejšpičkověji.

    Takže gratuluju k úspěchu a drceni konkurence :-) .
    GIMP 2.8 Cage Transformation - what is it good for? http://www.youtube.com/watch?v=S4whULCb8t0
    23.4.2012 07:31 JK
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Nepomuze starsi clanek? Cestinu jsem resil prevodem diakritiky na znaky bez diakritiky a s vyhledavanim jsem spokojen.
    Aleš Janda avatar 23.4.2012 08:28 Aleš Janda | skóre: 21 | blog: programátorské hádanky a tak podobně | Kralupy nad Vltavou
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    http://search.seznam.cz/vlastni - ale vrchní reklama je tam taky (může se však strefovat do jiných slov než Google).

    Anebo jsem kdysi zkoušel rozběhnout Sphinx, přičemž každé slovo se lemmatizovalo (tím se do značné míry vyřešilo skloňování a diakritika).
    23.4.2012 08:39 Jan Grmela | skóre: 45 | blog: Kilo šťávy z lachtana | Brno
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Píšu pro Pivní recenze a protože mě to IT už fakt nebaví, tak jsme si s klukama postavili pivovar Lucky Bastard
    pek avatar 23.4.2012 08:57 pek | skóre: 20
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Používám sphider, ale to je spíš pro menší weby.
    23.4.2012 09:06 Sajfi | skóre: 8
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Ja si teď po večerech hraju s Sherlockem z nasi Ceske kotliny a je to moc hezká hračka :-).
    xkucf03 avatar 23.4.2012 11:02 xkucf03 | skóre: 45 | blog: xkucf03
    Rozbalit Rozbalit vše Diakritika
    K té diakritice: skutečně je to nutné? Předpokládám, že v databázi máš obsah s diakritikou, takže jde o to, jak budou hledat uživatelé. Je lepší 1) vyhledávat i nesmysly a zatěžovat irelevantními výsledky uživatele, kteří si „dali tu práci“ se zadáváním hledaného textu s diakritikou nebo 2) dávat špatné výsledky uživatelům, kteří jsou líní/neschopní zadat hledaný text včetně háčků a čárek?
    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-Výuka.cz, Nekuřák.net
    Marek Stopka avatar 23.4.2012 12:17 Marek Stopka | skóre: 57 | blog: Paranoidní blog | London, United Kingdom
    Rozbalit Rozbalit vše Re: Diakritika
    3) podle toho jestli hledaný řetězec obsahuje nebo neobsahuje diakritiku vyhledávat v indexu s diakritikou, nebo ne (často potřebuju něco najít z blackberry, hledání pouze s diakritikou mě irituje :-) )
    Josef Kufner avatar 23.4.2012 12:18 Josef Kufner | skóre: 66
    Rozbalit Rozbalit vše Re: Diakritika
    Obdobný problém je například se skloňováním a s překlepy. Jako rozumné se mi jeví přiřadit přesné shodě lepší skóre a částečné shodě (překlep, chybějící diakritika) nebo jinému tvaru stejného slova přiřadit skóre o něco horší. Takže irelevantní výsledky budou až za relevantními a líný uživatel dostane, co chtěl.

    V praxi se mi osvědčilo (z pohledu uživatele) i vyhledávání podle začátků slov. Krásná ukázka toho je na wowhead.com.
    Hello world ! Segmentation fault (core dumped)
    23.4.2012 15:37 Roman Schulz | skóre: 8 | Brno
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Taky bych doporučil Sphinx, je snadno konfigurovatelný, indexace může probíhat pomocí zadaného SQL dotazu. Používáme ho i na velkých projektech k naprosté spokojenosti
    23.4.2012 17:33 joka x3m | skóre: 1
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Stiahnut obsah webu rekurzivne cez perl, natlacit texty do db, 2 stlpce, jeden s diakritikou, druhy bez, zapnut index pre fulltext na stlpci bez diakritiky, pri hladani ocistit diakritiku a zvazit jednoduchy fulltext select alebo rozsireny. Robil som specialne parsovanie webu, a vsetko mi funguje presne tak ako ja chcem :) ak chces napis na kalus bodka jozef zavinac gmail bodka com a mozem ti dat blizsie info o tom, nie je to az tak komplikovane ak tvoja db podporuje fulltext :)
    23.4.2012 19:27 Kvakor
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    A pokud nejsou data čistý text (což většinou nejsou, buď je to (X)HTML nebo nějaký značkovací jazyk redakčího systému), tak se musí text prvně převést. Když je zdroj nějak strukturovaný, je ještě možné vytahat "zvýrazněné" části bokem do separátního sloupce, když jsem něco takového kdysi dělal, tak tam šlo všechno z <strong>, <em>, vnitřku nadpisů a toho, co se vkládalo do klíčových slov v hlavičce.

    Zákazník chtěl ještě podporu skoňování a časování, ale protože se mi nepovedlo najít volně dostupná data, tak se to nakonec neřešilo. Stejně dodnes nevím, jak to elegantně řešit, návrh byl pro každé slovo, které se najde v "sloňovací/časovací" tabulce, provést dotazy na všechny další slova se stejným identifikátorem. V praxi to mohlo znamenat zhruba zdeseti-zdvacetinásobení dotazů, protože se počítalo i zahrnutí nespisovných tvarů (typu "myšmi/myšma/myšima/myšema/myšmami/myšmama"). Docela by mně zajímalo, jak tohle řeší hoši v Seznamu :-)
    xkucf03 avatar 23.4.2012 19:49 xkucf03 | skóre: 45 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Stejně dodnes nevím, jak to elegantně řešit, návrh byl pro každé slovo, které se najde v "sloňovací/časovací" tabulce, provést dotazy na všechny další slova se stejným identifikátorem. V praxi to mohlo znamenat zhruba zdeseti-zdvacetinásobení dotazů
    Proto se to řeší tak, že se do indexu ukládají pouze slova v základním tvaru a dotazy se převádějí opět na základní tvar (pokud např. nejsou v uvozovkách).
    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-Výuka.cz, Nekuřák.net
    23.4.2012 21:10 Kvakor
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    To by šlo, sice by generování zabralo šíleně času, ale vyhledávání by to moc nezpomalilo. Ale tenkrát jsem to už neřešil, protože bych nakonec mohl skončit u implementovani plnohodnotného vyhledavaciho enginu jen kvůli pár stránkám :-)
    24.4.2012 12:12 Ladicek | skóre: 28 | blog: variace | Havlíčkův brod
    Rozbalit Rozbalit vše Re: Jak na vlastní fulltextové vyhledávání?
    Obvykle úplně stačí jenom odřezávat přípony, na to není ani potřeba slovník, seznam českých přípon se dá najít někde v ispellu.
    Ještě na tom nejsem tak špatně, abych četl Viewegha.

    Založit nové vláknoNahoru

    ISSN 1214-1267   Powered by Hosting 90 Server hosting
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.