abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 21:32 | Nasazení Linuxu

Canonical představuje nejnovější verzi chytré helmy DAQRI s Ubuntu pro rozšířenou realitu. K vidění bude příští týden v Barceloně na veletrhu Mobile World Congress 2017.

Ladislav Hagara | Komentářů: 0
včera 21:31 | Pozvánky

Pro zájemce o hlubší znalosti fungování operačních systémů připravila MFF UK nový předmět Pokročilé operační systémy, v rámci něhož se vystřídají přednášející nejen z řad pracovníků fakulty, ale dorazí také odborníci ze společností AVAST, Oracle, Red Hat a SUSE. Tento předmět volně navazuje na kurz Operační systémy ze zimního semestru, ale pokud máte praktické zkušenosti odjinud (například z přispívání do jádra Linuxu) a chcete si

… více »
Martin Děcký | Komentářů: 0
včera 21:30 | Pozvánky

Czech JBoss User Group Vás srdečně zve na setkání JBUG v Brně, které se koná ve středu 1. března 2017 v prostorách Fakulty Informatiky Masarykovy Univerzity v místnosti A318 od 18:00. Přednáší Tomáš Remeš a Matěj Novotný na téma CDI 2.0 - New and Noteworthy. Více informací na Facebooku a na Twitteru #jbugcz.

mjedlick | Komentářů: 0
20.2. 23:45 | Zajímavý software

Na blogu Qt bylo představeno Qt 3D Studio. Jedná se o produkt dosud známý pod názvem NVIDIA DRIVE™ Design Studio. NVIDIA jej věnovala Qt. Jedná se o několik set tisíc řádků zdrojového kódu. Qt 3D Studio bude stejně jako Qt k dispozici jak pod open source, tak pod komerční licencí. Ukázka práce s Qt 3D Studiem na YouTube.

Ladislav Hagara | Komentářů: 10
20.2. 17:50 | Komunita

Nadace The Document Foundation (TDF) zastřešující vývoj svobodného kancelářského balíku LibreOffice slaví 5 let od svého oficiálního vzniku. Nadace byla představena 28. září 2010. Formálně byla založena ale až 17. února 2012.

Ladislav Hagara | Komentářů: 0
20.2. 12:50 | Komunita

Mozilla.cz informuje, že dosud experimentální funkce Page Shot z programu Firefox Test Pilot (zprávička) se stane součástí Firefoxu. Page Shot je nástroj pro vytváření snímků webových stránek. Umí výběr oblasti, prvku stránky (např. odstavce), nebo uložení snímku celé stránky. Snímky lze ukládat na disk nebo nahrávat na server Mozilly. Nedávno bylo oznámeno, že se součástí Firefoxu stane Activity Stream.

Ladislav Hagara | Komentářů: 32
20.2. 04:10 | Nová verze

Po 10 týdnech vývoje od vydání Linuxu 4.9 (zprávička) oznámil Linus Torvalds, mj. již 20 let žijící v USA, vydání Linuxu 4.10 (LKML). Přehled nových vlastností a vylepšení například na Kernel Newbies a v Jaderných novinách (1, 2 a 3). Kódové jméno Linuxu 4.10 je Fearless Coyote.

Ladislav Hagara | Komentářů: 22
19.2. 15:55 | Zajímavý projekt

Vyzkoušet si příkazy a vyřešit několik úkolů lze na stránkách Commandline Challenge (CMD Challenge). Úkoly lze řešit různými způsoby, důležitý je výsledek. Zdrojové kódy jsou k dispozici na GitHubu pod licencí MIT.

Ladislav Hagara | Komentářů: 18
18.2. 17:35 | Bezpečnostní upozornění

Německá Bundesnetzagentur (obdoba českého ČTU) zakázala na německém území prodej panenky Cayla kvůli „špionáži“ dětí. Tato elektronická hračka obsahuje mikrofon, reproduktor a kameru a bezdrátové komunikační rozhraní, pomocí kterého se hračka připojuje na servery výrobce. Takovýmto způsobem může hračka pomocí umělé inteligence „odpovídat“ na dotazy dítěte. Hlavní problém bude ale asi někde jinde, podle prvotních zpráv může

… více »
Petr Tomášek | Komentářů: 34
17.2. 15:30 | Bezpečnostní upozornění

CSIRT.CZ upozorňuje, že bezpečnostní experti objevili nový typ malwaru, jenž cílí na open source e-commerce platformu Magento. Malware je zajímavý tím, že se jedná o první svého druhu, jehož kód zůstává skrytý v SQL databázi zasaženého e-shopu. Škodlivý kód je volán pomocí tzv. SQL trigerru, který je spouštěn při každém vytvoření objednávky v systému.

Ladislav Hagara | Komentářů: 6
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (13%)
 (2%)
 (72%)
 (3%)
 (10%)
Celkem 679 hlasů
 Komentářů: 61, poslední včera 13:06
Rozcestník

Dotaz: Sqlite3 a funkcia regexp

vadimo avatar 4.2.2009 08:50 vadimo | skóre: 14 | Liptovský Mikuláš
Sqlite3 a funkcia regexp
Přečteno: 695×

Zdravím všetkých zdatných :-) Včera som strávil veľa času hladaním na internete ako spojazdniť (vytvoriť) fukciu regexp vo vyhľadávani v databáze Sqlite3. Tu trosku popísem ako to u mna vyzera. Sqlite dotazy zadávam z bash shellu, nie je spojena s php. Tazke ak potrebujem ziskat vysledok, tak v bash scripte mam nieco takéto:

$otazka="coca cola"   # nestaci mi nahradit za coca_cola, potrebujem viac presnejsich kombinacii
sqlite3 -separator \| test.db "select * from zoznam where nazov like '$otazka%';" > vysledok
 
Zakladny regexp co je zabudovany (% a _) mi nestacia, lebo ja potrebujem viac komnbinacii. Skusal som aj cez sqlite vyhladat vsetky moznosti ako napr otazka="coca_cola" apotom %$otazka% a neskor cely vysledok filtrovat a triedit v bashi cez funkcie for a if s poctom riadkov vysledku a podobne. Fungovalo to, ale bolo velmi pomale (500 vysledkov filtrovalo asi 30 sek). Pre informaciu, dtb ma vyse 50MB a je v nej cez 500.000 riadkov v jednej tabulke. Tazke som to vzdal a myslim, ze najlepsie bude implemntovat do nej regexp funkciu. Takze ak by mi niekto vedel ako do Sqlite3 dostat regexp z bashu, budem velmi rad.
Dakujem.

Odpovědi

vadimo avatar 4.2.2009 21:27 vadimo | skóre: 14 | Liptovský Mikuláš
Rozbalit Rozbalit vše Re: Sqlite3 a funkcia regexp

Alebo sa opytam este takto. Viete mi poradit podobnu a jednoduchu databazu ako je sqlite3? Poziadavky:

import z csv, ovladanie cez prikazovy riadok, dostatocne rychla.

Dakujem.

5.2.2009 09:29 neaktivni | skóre: 24 | blog: neaktivni
Rozbalit Rozbalit vše Re: Sqlite3 a funkcia regexp
Bude třeba do sqlite doimplementovat regexp asi nějak takto. Žel nikdy jsem se o takovou věc nepokoušel, tak víc neporadím.

Ohledně jiné db - takhle jednoduchou a rychlou asi nenajdete. IMHO HSQLDB nemůže konkurovat (zkoušel jsem a byl jsem ve srovnání s SQLite zklamán). Kdybych se chtěl vyhnout implementaci regexp a získat rychlost, asi bych si zjistil, jestli mám tabulky správně oindexované a také bych zvažoval, jestli nebude časově efektivní před dotazy zmigrovat tabulky do sqlite databáze v paměti (:memory: nebo tak nějak).

Zkuste, jestli máte čas, trochu víc popsat, Váš případ použití.

vadimo avatar 5.2.2009 16:14 vadimo | skóre: 14 | Liptovský Mikuláš
Rozbalit Rozbalit vše Re: Sqlite3 a funkcia regexp

Dakujem za odpoved.

Dnes  este rano som skompiloval ten zdrojak ktory tu uvadzate, nachádzal sa priamo v src sqlite. Dostal som vysledok SqliteIcu.so, nakopiroval do /usr/lib/ (tam bolo aj sqlite.so). A nevedel som ako dalej. Podla toho co som cital v readme, tak staci len nakopirovat, ale nejak sa mi nedari s tym pracovat.

Mne sa zatial podarilo zistit aj dalsia moznost (ak som to dobre pochopil?), tak táto "fičurina" sa da zakomponovat priamo do sqlite úpravou func.c a znova skompilovat. Este su dalsie dve moznosti. Tou prvou je pysqlite, moc som o tom este nezistoval, ale je to connect na databazu, kde sa da aj nadefinovat vlastna funkcia.  Potom dalsia moznost, do ktorej sa asi pustím je cely script z bash prepisat do PHP, kde sa tak isto da spravit connect na sqlite databazu a v php si nadefinovat vlastnu sqlite funkciu. Ale neviem aky to bude mat dopad na rychlost. (a ani neviem ako to vlastne funguje, ako sa sqlite dozvie o funckii?? asi nijak, skor si myslim, ze za budu vysledky potom filtrovat v PHP)

Co sa tyka pouzita, najst slovne spojenie a jeho variacie (coca.cola, coca-cola, coca_cola, coca&cola) v názve. Najprv, hladat s medzerou, potom s variaciami ako samostatny vyskyt, potom iba na zaciatku vety, potom kdekolvek vo vete, a nakoniec aj akekolvek spojene aj s inym slovom. Tj vytriedit podla revelancie. Zatial nemam s sqlite moc skusenosti, no viem, ze fungoval by nasledujuci sposob:

najst vsetky vyhovujuce vyskyty (LIKE '%coca_cola%'  ,vysledok bude napr. 500 z 500.000), a vysledok ulozit ako csv, potom ho importovat ako samostatnu tabulku a az na novej tabulke viacnasobne podniknut rozne filtre cez REGEXP a vysledok postupne ukladat a tymto sposobom budem mat aj zotriedeny vysledok podla revelancie, tj to najvýstižnejšie na zaciatku, bordel na konci.

Ide o to, ze REGEXP zakomponovany priamo v sqlite bude o dost rychlejsi ako v PHP alebo pythone (myslim). Este dnes sa pokusim to nejak dostat priamo do sqlite, ak nie, zacnem testovat moznosti a rychlost v php.

PS: tak a mám to!! Ste ma nakopli :-) vyzera ze to pojde, tu je postup:

------>>

Stiahnut sqlite source (nie sqlite amalgamatio!)
skompilovat s podporou extension:  (to som prvy krat neurobil a preto mi neslo natihanut rozsirenie)
./configure --enable-load-extension
make
make install (alebo checkinstall)


Skompilovat extension ICU (islo to v pohode, iba doinstalovat jeden balicek)
sudo apt-get install  libicu36-dev
cd ext/icu
gcc -I ../../src -shared icu.c `icu-config --ldflags` -o libSqliteIcu.so 
sudo cp libSqliteIcu.so /usr/lib/        (nakopirujeme to do systemu)
icu-config --ldflags  

v sqlite natiahnut rozsierenie:
.load libSqliteIcu.so  (no a toto mi neslo kvoli tomu, ze som nedal --enable-load-extension)

let's go!

vadimo avatar 5.2.2009 16:37 vadimo | skóre: 14 | Liptovský Mikuláš
Rozbalit Rozbalit vše Re: Sqlite3 a funkcia regexp

Tak som spokojny, funguje tak ako ma, je to rychle. Ale mam zas problem s tym, ze LIKE bolo case insensitive a rad by som tuto moznost vyuzil aj v REGEXP. A neviem ci je to vlastne mozne.

vadimo avatar 5.2.2009 16:54 vadimo | skóre: 14 | Liptovský Mikuláš
Rozbalit Rozbalit vše Re: Sqlite3 a funkcia regexp

OK, mam aj to. Staci pred vyraz pouzit (?i). Ináč za dva dni som nikde na nete nenasiel konkrétny návod ako na to. Mozno by nebolo odveci to niekde vypichnut, myslim ten regexp v sqlite.

vadimo avatar 5.2.2009 17:40 vadimo | skóre: 14 | Liptovský Mikuláš
Rozbalit Rozbalit vše Re: Sqlite3 a funkcia regexp

Je pekne ze to funguje ako ma, ale neviem ako docielit toho, aby som to natiahol jednym prikazom zo shellu. Ide o to, ze spustim sqlite a musim zadat prikaz .load libSqliteIcu.so 

Ale ako to urobit jednym prikazom zo shellu? Toto by mi teraz nefungovalo, lebo musim to natiahnut. Ale ako? Nejak to tam naimplementovat.

sqlite3 -separator \| test.db "select * from zoznam where nazov regexp '^otazka.*';" > vysledok

vadimo avatar 5.2.2009 20:34 vadimo | skóre: 14 | Liptovský Mikuláš
Rozbalit Rozbalit vše Re: Sqlite3 a funkcia regexp

Na manualovej stranke sa pise o volbe -init za ktorou nasleduje nazov suboru, v ktorom mozu byt interne prikazy pre sqlite. Nasiel som aj "prikladny" subor, ktory mn vobec nefungoval, ale osvedcilo sa to takto:

Vytvorit subor napr. s menom commands, do neho vlozit tieto riadky:

.separator |
.load   libSqliteIcu.so

 

A príkaz v shelli vyzera nasledovne:

sqlite3 -init commands test.db "select * from zoznam where nazov regexp '^otazka.*';"

PS: Dnes budem spokojne spat :-)
5.2.2009 21:27 neaktivni | skóre: 24 | blog: neaktivni
Rozbalit Rozbalit vše Re: Sqlite3 a funkcia regexp
teda smekam ))
vadimo avatar 28.2.2009 06:21 vadimo | skóre: 14 | Liptovský Mikuláš
Rozbalit Rozbalit vše Re: Sqlite3 a funkcia regexp

Este doplním, ze ve tom súbore s príkazmi mi nie vzdy (dve verzie OS) fungoval príkaz .quit (alebo .q). Jednoducho sa vsetko vykonalo ako malo, len nenastal exit z sqlite3.

Tak riesim to quitom v cli riadku:

sqlite3 -init commands test.db '.quit'

A este pridávam uplne na zaciatok súboru s príkazmy paramater .echo ON  ,nech vidím co sa deje.

vadimo avatar 6.2.2009 09:01 vadimo | skóre: 14 | Liptovský Mikuláš
Rozbalit Rozbalit vše Re: Sqlite3 a funkcia regexp

Este som sa dostal k dalsej moznosti rozsirena Sqlite3 a tou je fulltextové vyhladávanie pomocou funkcie FTS3. Tiež mi ju bolo treba "aktivovat" pri kompilácii. Tazke ak by sme chceli REGEXP a MATCH s FTS3, treba to nakonfigurovat pri kompilácii nasledovne:

CFLAGS="-DSQLITE_ENABLE_FTS3=1" ./configure --enable-load-extension

Nová tabulka:
CREATE VIRTUAL TABLE zoznam using FTS3(nazov, popis);

Full text search: (Viac moznosti syntaxe je v README syntax)

SELECT * FROM zoznam WHERE nazov MATCH 'otazka*';

Ale najlepsie na tom je moznost ulozenia vysledku do noveho pola(stlpca) a  zvyraznenie vysledku pomocou HTML tagov pomocou snippet

SELECT *,snippet(zoznam,'<strong>','</strong>') FROM zoznam WHERE nazov MATCH 'cola*';

vysledok a match zvyrazneny:

coca cola | black accid | <strong>coca</strong> cola

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.