abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 22:22 | Komunita

    Open source webový aplikační framework Django slaví 20. narozeniny.

    Ladislav Hagara | Komentářů: 0
    dnes 16:11 | Komunita

    V Brestu dnes začala konference vývojářů a uživatelů linuxové distribuce Debian DebConf25. Na programu je řada zajímavých přednášek. Sledovat je lze online.

    Ladislav Hagara | Komentářů: 0
    dnes 11:33 | IT novinky

    Před 30 lety, tj. 14. července 1995, se začala používat přípona .mp3 pro soubory s hudbou komprimovanou pomocí MPEG-2 Audio Layer 3.

    Ladislav Hagara | Komentářů: 14
    dnes 10:55 | IT novinky

    Výroba 8bitových domácích počítačů Commodore 64 byla ukončena v dubnu 1994. Po více než 30 letech byl představen nový oficiální Commodore 64 Ultimate (YouTube). S deskou postavenou na FPGA. Ve 3 edicích v ceně od 299 dolarů a plánovaným dodáním v říjnu a listopadu letošního roku.

    Ladislav Hagara | Komentářů: 16
    včera 17:55 | Zajímavý projekt

    Společnost Hugging Face ve spolupráci se společností Pollen Robotics představila open source robota Reachy Mini (YouTube). Předobjednat lze lite verzi za 299 dolarů a wireless verzi s Raspberry Pi 5 za 449 dolarů.

    Ladislav Hagara | Komentářů: 11
    11.7. 16:44 | Komunita

    Dnes v 17:30 bude oficiálně vydána open source počítačová hra DOGWALK vytvořena v 3D softwaru Blender a herním enginu Godot. Release party proběhne na YouTube od 17:00.

    Ladislav Hagara | Komentářů: 3
    11.7. 14:55 | Humor

    McDonald's se spojil se společností Paradox a pracovníky nabírá také pomocí AI řešení s virtuální asistentkou Olivii běžící na webu McHire. Ian Carroll a Sam Curry se na toto AI řešení blíže podívali a opravdu je překvapilo, že se mohli přihlásit pomocí jména 123456 a hesla 123456 a získat přístup k údajům o 64 milionech uchazečů o práci.

    Ladislav Hagara | Komentářů: 16
    11.7. 00:11 | Nová verze

    Byla vydána (𝕏) červnová aktualizace aneb nová verze 1.102 editoru zdrojových kódů Visual Studio Code (Wikipedie). Přehled novinek i s náhledy a videi v poznámkách k vydání. Ve verzi 1.102 vyjde také VSCodium, tj. komunitní sestavení Visual Studia Code bez telemetrie a licenčních podmínek Microsoftu.

    Ladislav Hagara | Komentářů: 0
    10.7. 21:00 | Bezpečnostní upozornění

    Byla vydána nová verze 2.4.64 svobodného multiplatformního webového serveru Apache (httpd). Řešeno je mimo jiné 8 bezpečnostních chyb.

    Ladislav Hagara | Komentářů: 4
    10.7. 15:22 | Nová verze

    Společnost xAI na síti 𝕏 představila Grok 4, tj. novou verzi svého AI LLM modelu Grok.

    Ladislav Hagara | Komentářů: 12
    Jaký je váš oblíbený skriptovací jazyk?
     (59%)
     (26%)
     (7%)
     (3%)
     (1%)
     (1%)
     (4%)
    Celkem 393 hlasů
     Komentářů: 16, poslední 8.6. 21:05
    Rozcestník

    Dotaz: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti

    7.3.2013 13:23 Bubla
    Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    Přečteno: 303×
    Dobrý den,

    jakým způsobem se přistupuje ke hledání podobností v databázi? dejme tomu, že mám dotaz typu 'ahoj'

    položky v databázi

    - ahojblas - ahoj - blas - ldsd ahoj - bubak - kralik

    jakým způsobem z tohoto seznamu poté vyfiltrovat slova, která mají největší podobnost? Celé toto hledání je spíše fulltext nebo fuzzy matching?

    Předpokládám, že na tuto funkcionalitu budou potřebné regulární výrazy, že ano?

    Odpovědi

    7.3.2013 13:24 Bubla
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    vzorek databáze ještě jednou

    - ahojblas

    - ahoj

    - blas

    - ldsd ahoj

    - bubak

    - kralik
    Tarmaq avatar 7.3.2013 13:56 Tarmaq | skóre: 39
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    pokud ti staci jen vyrazy, ktere obsahuji 'ahoj', tak staci zadat:
    SELECT vyraz
    FROM vyrazy
    WHERE vyraz LIKE '%ahoj%'
    
    Don't panic!
    7.3.2013 14:43 potato
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    Fuzzy matching se dělá v nejjednodušším případě Levenstheinovou vzdáleností řetězců s vhodně definovanými meziznakovými vzdálenostmi, ve složitějším s použitím statistických modelů daného jazyka. Což ovšem nenapíšeš standardním SQL dotazem. Nestandardní existují. Postgresql má přímo funkci levenshtein, dá se vygooglit jakási T-SQL implementace, etc.

    Má-li záznam ten řetězec přímo obsahovat, nanejvýš s nějakým bordelem okolo, tak můžeš použít LIKE, jak píše kolega. Nicméně vybrat pak maximálně shodný zase potřebuje metriku nad řetězci, tudíž si tímhle moc nepomůžeš.
    7.3.2013 15:33 Bubla
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    děkuji za info

    a jakým způsobem by se k tomuto přistupovalo, pokud by to bylo např. v programovacím jazyce místo SQL?
    7.3.2013 16:52 DarkKnightCZ | skóre: 12
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    regularni vyrazy, pouzijes funkce stylu strstr/strpos, nebo si napises vlastni algoritmus stylem - "prochazej cely radek, znak po znaku, pokud se rovna aktualni znak prvnimu znaku slova a zaroven nasledujici znak se rovna druhemu znaku slova a zaroven dalsi nasledujici znak se rovna tretimu znaku slova atd. az po konec slova, slovo bylo nalezeno"
    7.3.2013 17:03 potato
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    Jen to ne. Najdeš si knihovnu, která implementuje řetězcové metriky, a použiješ ji. Hledej fuzzy matching, Levenshtein, string distance, edit distance, ...
    7.3.2013 17:14 graviton
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    http://norvig.com/spell-correct.html <- co třeba tohle, to je takový pěkný příklad...
    7.3.2013 17:23 Bubla
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    Děkuji, to vypadá jako pěkná ukázka, zkusím se z toho něco přiučit. Přitom se zkusím ještě podívat pořádně na ten fuzyy matching. ještě jednou děkuji za informace.
    7.3.2013 17:45 Bubla
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    tak tady je ještě další ukázka možností, kdyby někdo potřeboval

    http://stackoverflow.com/questions/682367/good-python-modules-for-fuzzy-string-comparison
    7.3.2013 17:47 Bubla
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    a ještě obdobné vlákno na http://stackoverflow.com/questions/451884/similar-string-algorithm/451910#451910
    7.3.2013 18:42 Bubla
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    Tak to vypadá, že už mi něco funguje, teď jsem ale přišel na jeden zásadní problém...

    jde totiž o to, že některé řetězce ze kterých bych chtěl vybírat, tak jsou různě dlouhé... např.

    - 'Alfonz bulba velký'

    - 'Quercus lodes malý'

    - 'Sanchenzo Lopez'

    - 'Lopez oglomenz'

    - 'lodes'

    a bohužel většina těch dostupných knihoven předpokládá celé jedno slovo, nebo sérii vůči sérii.

    tedy pokud budu hledat 'lopez', tak s největší pravděpodobností vrátí 'lodes', a 'Lopez oglomenz' nebude mít dostatečně velký koeficient, napadlo mě tedy všechny rozdělit na části a hledat v nich, jenže to je pak nutné držet i původní verzi a nějak správně zacílit původní verzi. No další problém se vyskytne v případě kdy někdo zadá výraz 'lodes Sanchenzo' a já budu mít části rozdělené?

    z toho mi vychází, že bude nutné provést několik testů a pak je mezi sebou porovnat? tedy rozdělit slova jak na vstupu tak v databázi a pak je opět nějak složit?
    7.3.2013 19:26 potato
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    To je otázka metriky. Já bych taky řekl, že lodes je bližší...

    První krok asi tedy musí být pořádná specifikace kritéria blízkosti. Když máš dvě slova a jedno z nich odpovídá přesně, zjevně to preferuješ před přibližnou shodou podobně dlouhých slov. Co když budeš k tomu přesně odpovídajícímu slovu mít přilepenou celou větu? Bibli? Nekonečný rozvoj pí? Pořád to má být bližší než lodes? Nejdřív je nutné vědět, co chceš udělat, potom lze řešit jak.
    7.3.2013 20:10 graviton
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    Bez znalosti problémové domény asi těžko navrhneme přibližný trefovač, který by v ní generoval přirozeně se chovající odhady.

    Jen nadhodím trik, se kterým jsme kdysi ubastlili relativně přirozeně se chovající slovníček nad daty s mixem slov a celých vět:
    1. setřídili jsme si slovník podle délky slova/fráze vzestupně
    2. hledání hledalo ve slovníku zadanou věc sekvenčně jako podřetězec (žádné překlepy)
    3. hledání se zastavilo po N nálezech
    Díky bodu 1 to přesné zásahy vracelo nejdřív a případně to potom vracelo i slova s daným podřetězcem nebo fráze s tím slovem.

    Je otázka, jak do toho začlenit nějaké přibližné porovnávání, asi jet na dva průchody - přesný a přibližný, na výstupu jejich výsledky nějak ováhovaně zkombinovat.

    Netuším, jestli z toho něco k něčemu bude, jen tak nadhazuju...
    8.3.2013 23:18 Logik
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    Asi to co chceš je, rozdělit si fráze ve slovníku po slovech a vrátit libovolnou, která má alespoň jedno slovo podobné. Popř. můžeš hodnotu podobnosti vydělit délkou fráze ve slovech.

    Víceslovné fráze pak můžeš vyhledávat pomocí součinu podobnosti jednotlivých slov vyhledávané fráze.
    9.3.2013 09:03 Bubla
    Rozbalit Rozbalit vše Re: Hledání v databázi (slovník) nějakého výrazu či částečné podobnosti
    o to jsem se pokoušel, ale výsledek nebyl moc dobrý, jelikož se pak celé řetězce špatně skládaly dohromady.

    nakonec jsem použil match slova na řetězec a v rozdělil několik úrovní pro "match" viz 0.0-1.0 např. SequenceMatcher pokud poté dosahuje určité úrovně, tak dojde k kontrole jednotlivých slov v řetězci a původního slova, pokud je nějaká vyšší úroveň, tak jí vrátí.

    A tímto způsobem následně při hledání se vrátí několik matchu s různou úrovní přesnosti.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.