abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 19:22 | Nová verze

Byla vydána verze 11.3 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab (Wikipedie). Představení nových vlastností i s náhledy v příspěvku na blogu.

Ladislav Hagara | Komentářů: 0
včera 13:00 | Komunita

Do 30. října se lze přihlásit do dalšího kola programu Outreachy (Wikipedie), jehož cílem je přitáhnout do světa svobodného a otevřeného softwaru lidi ze skupin, jež jsou ve světě svobodného a otevřeného softwaru málo zastoupeny. Za 3 měsíce práce, od 4. prosince 2018 do 4. března 2019, v participujících organizacích lze vydělat 5 500 USD.

Ladislav Hagara | Komentářů: 74
21.9. 22:22 | Komunita

Společnost Purism představila kryptografický token Librem Key. Koupit jej lze za 59 dolarů. Token byl vyvinut ve spolupráci se společností Nitrokey a poskytuje jak OpenPGP čipovou kartu, tak zabezpečení bootování notebooků Librem a také dalších notebooků s open source firmwarem Heads.

Ladislav Hagara | Komentářů: 8
21.9. 20:33 | Nová verze

Společnost NVIDIA oficiálně vydala verzi 10.0 toolkitu CUDA (Wikipedie) umožňujícího vývoj aplikací běžících na jejich grafických kartách. Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
21.9. 20:00 | Upozornění

Příspěvek Jak přežít plánovanou údržbu DNS na blogu zaměstnanců CZ.NIC upozorňuje na historicky poprvé podepsání DNS root zóny novým klíčem dne 11. října 2018 v 18:00. Software, který nebude po tomto okamžiku obsahovat nový DNSSEC root klíč, nebude schopen resolvovat žádná data. Druhým důležitým datem je 1. února 2019, kdy významní výrobci DNS softwaru, také historicky poprvé, přestanou podporovat servery, které porušují DNS standard

… více »
Ladislav Hagara | Komentářů: 11
21.9. 15:55 | Pozvánky

Spolek OpenAlt zve příznivce otevřených řešení a přístupu na 156. brněnský sraz, který proběhne v pátek 21. září od 18:00 v restauraci Na Purkyňce na adrese Purkyňova 80.

Ladislav Hagara | Komentářů: 0
21.9. 13:22 | Nová verze

Alan Griffiths z Canonicalu oznámil vydání verze 1.0.0 display serveru Mir (GitHub, Wikipedie). Mir byl představen v březnu 2013 jako náhrada X serveru a alternativa k Waylandu. Dnes Mir běží nad Waylandem a cílen je na internet věcí (IoT).

Ladislav Hagara | Komentářů: 0
20.9. 22:00 | Nasazení Linuxu
Stabilní aktualizace Chrome OS 69 (resp. Chromium OS), konkrétně 69.0.3497.95, přináší mj. podporu linuxových aplikací. Implementována je pomocí virtualizace, a proto je tato funkce také omezena na zařízení s dostatkem paměti a podporou hardwarové akcelerace, tudíž nejsou podporovány chromebooky s 32bitovými architekturami ARM, či Intel Bay Trail (tzn. bez Intel VT-x).
Fluttershy, yay! | Komentářů: 5
20.9. 21:32 | Zajímavý projekt

Došlo k uvolnění linuxové distribuce CLIP OS, vyvíjené francouzským úřadem pro kybernetickou bezpečnost ANSSI, jako open source. Vznikla za účelem nasazení v úřadech, kde je potřeba omezit přístup k důvěrným datům. Je založená na Gentoo.

Fluttershy, yay! | Komentářů: 1
20.9. 16:00 | Komerce

Zjistěte více o bezpečné a flexibilní architektuře v cloudu! IBM Cloud poskytuje bezpečné úložiště pro Vaše obchodní data s možností škálovatelnosti a flexibilitou ukládání dat. Zároveň nabízí prostředky pro jejich analýzu, vizualizaci, reporting a podporu rozhodování.

… více »
Fluttershy, yay! | Komentářů: 12
Na optické médium (CD, DVD, BD aj.) jsem naposledy vypaloval(a) data před méně než
 (13%)
 (15%)
 (21%)
 (23%)
 (24%)
 (4%)
 (1%)
Celkem 396 hlasů
 Komentářů: 33, poslední 16.9. 11:55
Rozcestník

Dotaz: jak nahrát stovky souborů do databáze

4.9. 09:44 urputnik
jak nahrát stovky souborů do databáze
Přečteno: 778×
Mám mnoho textových souborů, které budu potřebovat často prohledávat na základě zadaného regulárního výrazu. Rozhodl jsem se použít databázi. Slibuji si od toho, že prohledávání bude rychlejší než při použití ripgrepu. Zatím netuším jak efektivně nahrát stovky textových souborů do MySQL databáze z příkazového řádku nebo v shellu. Poradíte?

Odpovědi

4.9. 09:59 debian+
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
To som nedavno riesil :D ... Mal som 1 priecinok a v nom takmer 2 milion priecinkov s asi 1 suborom v kazdom priecinku.

Len generovanie SQL dotazu trvalo 24-48 hodin (povodne malo 2-3 tyzdne v cistom).

Ako na to.

Musis manualne nahodit data. Zo suborov vytvor jeden dotaz (alebo n dotazov, kde v kazdom dotaze vkladas 10000 insertov - aspon tak u mna to bolo). A tie potom hodis do databazy. Ak sa zmesti cele do ram, ukladaj do /dev/shm a vystup si skopiruj (kukni df pre /dev/shm). Alebo ukladaj na disk, ale generuj docastne do /dev/shm a po 100 napr. vkladani, z /dev/shm to uloz do na disk.

Tabulku si vytvor v phpmyadmin (instalacnu verziu pouzi zo stranky - v debian testing my bola blba). Vloz 2 insert, aby si videl syntax pre insert viac-vkladanim naraz.

A logiku si naprogramuj v php (ma funkciu mysqli_real_escape_string() na spravne konvertovanie na vkladanie). Php je ma aj prebrate syntax z bash.

Ak zaplatis, do 0.5 - 1 hodiny to mas. Ak mozes poslat tie data, dak Ti mozem rovno vytvorit jeden sql prikaz, ktory Ti rovno nahodi databazu. A poslat aj s programom, ktory pri tom vytvorim (ak do buducna ak by si potrebol si pridat).
4.9. 10:07 debian+
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Ak sa zmestia do RAM, pouzi ramFS. /dev/shm je nim.
6.9. 15:20 lazywriter
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Jelikož se zmiňuje SQL, tak se nejspíš předpokládá _relační_ databáze. A ta má takový název proto, že dobře řeší vztahy (cizím slovem relace) mezi záznamy. Takže není dobrý nápad ji znasilňovat na něco jiného. Když už nestačí doporučené hledání na disku, tak by mohly připadat do úvahy nějaké databáze, ale rozhodně ne relační. Napadá mě třeba nějaká dokumentová nosql databáze, např. Elasticsearch apod.
6.9. 15:21 lazywriter
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
pardon, ukliknutí. Odpověď měla jít přímo na původní otázku.
6.9. 17:28 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Relace je ten jeden záznam (n-tice) v tabulce.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
7.9. 10:09 lazywriter
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Použít třeba Google přece není tak složité. Druhý odkaz na dotaz "relace databáze": https://office.lasakovi.com/access/tabulky/relace-vazby-v-databazich-teorie/

Záznam se v relační teorii jmenuje entita. Proto se také schématu databáze někdy říká ER diagram od slov entita-relace (česky: záznam a jeho vztah k ostatním).
4.9. 10:00 Aleš Kapica | skóre: 47 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
A nebylo by lepší místo takové opičárny vyzkoušet sift?
4.9. 10:04 debian+
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Ako to testovali/merali, lebo HDD a ani SD disk neda 30GB za 0.5s.

Vid "Web log files search"
4.9. 10:10 Aleš Kapica | skóre: 47 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Nevím jak to testovali oni, ale pokud bych chtěl obejít IO omezení HDD, tak bych ty data hodil do ramdisku.

Jinak tazatel chce prohledávat stovky textových souborů. To je úplná sranda proti prohledávání milionů malých souborů. Neuvedl taky co s tím pak chce dělat. Já si většinou takový soubor chci přečíst, proto je pro mne optimální klasická kombinace grep + less. A pokud bych chtěl něco svižnějšího, tak bych nejspíš vyzkoušel ten sift. Pořád mi to přijde lepší než se drbat s nějakou databází. Bez rozumné indexace to stejně nedává smysl.
4.9. 10:55 Aleš Kapica | skóre: 47 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Tak jsem to jen tak z legrace zkusil na svůj home. Obsahuje aktuálně 1044971 souborů (208GB). Co se mi líbilo, tj. že sift zvýrazňoval barevně cestu k souboru a nalezený vzorek. Sift také na rozdíl od grepu jel vícevláknově.

Co jsem neošetřil, to bylo nastavení parametru aby nepřeskakoval příliš dlouhé řádky, takže 3130 souborů sift právě kvůli tomu přeskočil.
sift
real    17m12,227s
user    2m28,896s
sys     4m6,882s

grep
real    23m28,636s
user    3m38,805s
sys     3m57,037s
4.9. 12:27 urputnik
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Tedy by mě zajímalo porovnání s prohledáváním v DB, ale to asi vyzkoušet nemůžete.
4.9. 13:09 dustin | skóre: 61 | blog: dustin
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Nahrání do DB a indexace pro nějaký fulltext (který nezafunguje na regexp) je dost náročná operace. Samozřejmě pokud budeš hledat častěji (a bude možné použít nějaký index), přínos to mít může. Jinak bude varianta s mezikrokem do DB logicky delší, když dělá to samé a ještě mnoho navíc.
4.9. 16:03 lertimir | skóre: 61 | blog: Par_slov
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Ano, souhlas. Podstatné je, že fultext index je sice mnohonásobně rychlejší, ale v podstatě je uvnitř jenom něco jako ekvivalent substringu. rozhodně to není regexp.
4.9. 10:20 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Pokud ta data v souborech nejsou strukturována, tak ti konverze do databáze moc fungovat nebude a ztratíš pohodlí přímé editace. Jak dlouho tomu ripgrepu trvá, než nalezne výskyty vzorku?
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
4.9. 11:04 urputnik
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Strukturovana jsou, ale to bych v te db uz nejak vyresil. Treba tak, ze bych si cestu do adresare (strukturu) ukladal do tabulky vedle toho textu.

Rychle to s tim ripgrepem je zatim dost, ale mam tech souboru jenom asi stovku. Brzy jich budou tisice.
4.9. 11:10 debian+
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Strukturovana jsou, ale to bych v te db uz nejak vyresil. Treba tak, ze bych si cestu do adresare (strukturu) ukladal do tabulky vedle toho textu.
To v ziadnom pripade!!!! ... Zvlast tabulka na nazvy a zvlast na data. A prepajas indexami.
4.9. 11:22 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Je u všech souborů zachována stejná struktura sloupců nebo to má každý soubor jinak? Máš ty soubory v CSV nebo v jiném podobném formátu?
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
4.9. 12:23 urputnik
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Je to jen text, žádný formát to nemá.
4.9. 12:51 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
V tom případě nedává moc smysl takové nestrukturované údaje ukládat do databáze. Jak velké jsou ty soubory a co od toho databázového řešení očekáváš?
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
Mark Stopka avatar 4.9. 13:32 Mark Stopka | skóre: 57 | blog: Paranoidní blog | European Economic Area
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
On ElasticSearch je taky databáze, víme? :-)
4.9. 13:46 urputnik
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
V podstatě jde o to, jestli webový backend bude pracovat se strukturou souborů nebo s databází, ze které by se posléze vybraný text kopíroval do souboru, se kterým by se pracovalo -- překlad textového formátu do PDF a jiných formátů. Dneska už je běžné mít všechno v DB, je to rychlé a pohodlné a dobře rozšiřitelné. Na základě toho mě právě napadlo hrnout už to všechno přes DB, protože ta tam bude stejně, zejména pokud by to vyhledávání v DB mělo být rychlejší.
4.9. 14:23 dustin | skóre: 61 | blog: dustin
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
Nepřijde mi, že je dnes běžné mít všechno v DB. Je to vždy o konkrétních potřebách.

Pokud potřebuješ fulltext (ne regexpy, které zmiňuješ), pak to nahraj do elasticsearche, jak tady již bylo řečeno. Nevím o DB indexu, který by uměl urychlit obecný regexp.

Mysql žádný pořádný fulltext nemá, navíc s podporou různých jazyků.

Nebo použij Postgresql https://postgres.cz/wiki/Instalace_PostgreSQL#Instalace_Fulltextu
Josef Kufner avatar 7.9. 11:11 Josef Kufner | skóre: 68
Rozbalit Rozbalit vše Re: jak nahrát stovky souborů do databáze
To, co chceš, je hlavně index. Pro obecné regexpy se indexovat nedá, ale pokud máš předem dané dotazy a přepíšeš je do jednoduchého hledání klíčových slov, tak už to půjde fulltextem.

Na fulltext můžeš zkusit třeba Sphinx Search nebo již zmiňovaný Elastic Search. Fulltext v MySQL je dosti omezený.

Import do databáze uděláš tak, že si napíšeš skript, který přečte soubor, sestaví SQL dotaz a pošle to do databáze. Je to na pár řádků. Doporučuju sáhnout po rozumném skriptovacím jazyce, např. Python nebo PHP. V shellu se z toho zblázníš.
Hello world ! Segmentation fault (core dumped)

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.