abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 05:55 | Komunita

Dries Buytaert, autor a vedoucí projektu Drupal a prezident Drupal Association, požádal soukromě před několika týdny Larryho Garfielda, jednoho z klíčových vývojářů Drupalu, aby projekt Drupal opustil. Larry Garfield minulý týden na svých stránkách napsal, že důvodem jsou jeho BDSM praktiky a rozpoutal tím bouřlivou diskusi. Na druhý den reagoval Dries Buytaert i Drupal Association. Pokračuje Larry Garfield [reddit].

Ladislav Hagara | Komentářů: 29
dnes 04:44 | Humor

Společnost SAS zveřejnila na svých stránkách studii s názvem Open Source vs Proprietary: What organisations need to know (pdf). Organizace by měly například vědět, že ideální je mix 40 % open source softwaru a 60 % proprietárního softwaru [Slashdot].

Ladislav Hagara | Komentářů: 6
včera 23:33 | Zajímavý software

Byl vydán ShellCheck ve verzi 0.4.6. Jedná se o nástroj pro statickou analýzu shellových skriptů. Shellové skripty lze analyzovat na webové stránce ShellChecku, v terminálu nebo přímo z textových editorů. Příklady kódů, na které analýza upozorňuje a doporučuje je přepsat. ShellCheck je naprogramován v programovacím jazyce Haskell. Zdrojové kódy jsou k dispozici na GitHubu pod licencí GPLv3.

Ladislav Hagara | Komentářů: 0
včera 23:33 | Pozvánky

Czech JBoss User Group zve na setkání JBUG v Brně, které se koná ve středu 5. dubna 2017 v prostorách Fakulty informatiky Masarykovy univerzity v místnosti A318 od 18:00. Přednáší Pavol Loffay na téma Distributed Tracing and OpenTracing in Microservice Architecture.

… více »
mjedlick | Komentářů: 0
včera 11:33 | Zajímavý článek

Národní centrum kybernetické bezpečnosti (NCKB) vypracovalo (pdf) 26 podrobných bezpečnostních doporučení pro síťové správce. Tato doporučení jsou nastavena tak, aby je bylo možné aplikovat v každé instituci. Jsou rozdělena na tři základní části: bezpečnost infrastruktury, bezpečnost stanic a serverů a bezpečnost uživatelů.

Ladislav Hagara | Komentářů: 16
včera 05:55 | Komunita

Prezident Nadace pro svobodný software (FSF) Richard M. Stallman vyhlásil na slavnostním ceremoniálu v rámci konference LibrePlanet 2017 vítěze Free Software Awards za rok 2016. Ocenění za společenský přínos získal SecureDrop (Wikipedie). Za rozvoj svobodného softwaru byl oceněn Alexandre Oliva (Wikipedie).

Ladislav Hagara | Komentářů: 0
včera 04:44 | Nová verze

Byla vydána verze 0.7.0 debugovacího nástroje cgdb. Mezi novinky patří například zvýrazňování syntaxe jazyka Rust. Podrobnosti v poznámkách o vydání.

Neel | Komentářů: 0
25.3. 22:00 | Komunita

Portál Stack Overflow po roce opět vyzpovídal své uživatele, jedná se především o vývojáře softwaru, a zveřejnil (podcast) detailní výsledky průzkumu. Průzkumu se letos zúčastnilo více než 64 tisíc vývojářů. Jejich nejmilovanější platformou je linuxový desktop. Ten je také druhou nejpoužívanější platformou vývojářů.

Ladislav Hagara | Komentářů: 7
24.3. 11:55 | Komunita

Vývojový tým OpenSSL ve spolupráci s iniciativou Core Infrastructure konsorcia Linux Foundation spustil proces přelicencování této kryptografické knihovny ze současné licence na licenci Apache Licence v 2.0 (ASLv2). Nová licence usnadní začleňování OpenSSL do dalších svobodných a open source projektů. Všichni dosavadní vývojáři OpenSSL (Authors) obdrží v následujících dnech email s prosbou o souhlas se změnou licence.

Ladislav Hagara | Komentářů: 33
24.3. 01:11 | Komunita

Před třemi týdny Mozilla.cz představila projekt Photon, jehož cílem je návrh a implementace nového vzhledu Firefoxu. Včera zveřejnila první náhled vzhledu Photon. Práce na projektu Photon jsou rozděleny do pěti týmů, které celkem čítají 19 lidí. Zaměřují se na zlepšení prvního spuštění Firefoxu a zaujetí nových uživatelů, celkovou úpravu vzhledu, zlepšení animací, zrychlení odezvy uživatelského rozhraní a také upravení nabídek. Vývoj lze sledovat v Bugzille.

Ladislav Hagara | Komentářů: 52
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (14%)
 (2%)
 (71%)
 (3%)
 (10%)
Celkem 950 hlasů
 Komentářů: 72, poslední 1.3. 11:16
    Rozcestník

    Dotaz: Textové soubory do relační databáze - struktura db

    10.1.2011 16:03 4rasic
    Textové soubory do relační databáze - struktura db
    Přečteno: 531×
    Dobrý den. Mám několik desítek textových souborů, které obsahují až statisíce řádků. Jejich struktura je zhruba následující:
    soubor0:
    jednoznackyidentifikator | boolhodnota | stringhodnota | ...
    
    souborN:
    jednoznackyidentifikator | nejakadalsihodnota | zaseneco | ...
    
    ...
    
    Potřebuju data z těchto souborů dostat do DB. Můj plán je následující: pro každý soubor vytvářet automaticky tabulku, jejíž název bude sha1 hash názvu souboru (kvůli rozlišování písmen, nepovoleným znakům aj.), v každé tabulce bude jednoznackyidentifikator PK. Někde stranou si budu v aplikaci udržovat seznam názvů souborů, které chci procházet (nemusím chtít všechny). Takový je můj plán. V nespočetně mnoha článcích jsem se ale dočetl, že není dobré měnit strukturu databáze (vytvářet tabulky) dynamicky a dost se od toho odrazuje. Tzn. že by byla lepší jedna tabulka, ve které by byla data ze všech souborů? Není to blbost?

    Odpovědi

    okbob avatar 10.1.2011 16:19 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: Textové soubory do relační databáze - struktura db
    Ono hodně záleží, co s těmi daty chcete dělat a jak je chcete zpracovávat? Jestli je nejakým způsobem významné, z kterého souboru data pochází? Jestli chcete provádět jednorázovou operaci nebo zda-li s daty chcete pracovat trvale? A také záleží, co vlastně tato data znamenají.

    Jinak 100 tis nebo mil, přip. 10 mil řádků v jedné tabulce není problém.
    10.1.2011 16:38 4rasic
    Rozbalit Rozbalit vše Re: Textové soubory do relační databáze - struktura db
    Chci třeba zobrazit "naráz"(nějak filtrovaná) všechna data z 4 souborů - řádky spojené pomocí jednoznackyidentifikator. Na to se právě perfektně hodí mít více tabulek a nad nima hodit inner join. Myslím, že toto samé se dá provést i pokud by to bylo v jedné tabulce (jen postup získání dat je složitější).
    okbob avatar 10.1.2011 19:13 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: Textové soubory do relační databáze - struktura db
    Pokud ta data ze souborů jsou skutečně natolik jiná, že byste je chtěl spíš JOINovat než UNIONovat :), tak pak asi má smysl je nechat v samostatných tabulkách.
    11.1.2011 00:35 4rasic
    Rozbalit Rozbalit vše Re: Textové soubory do relační databáze - struktura db
    Tuhle odpověď jsem tak uplně nepochopil, ale mám asi 2 možnosti realizace:
    1/ vícero tabulkami
    
    soubor0:
    identifikator | sloupec1 | sloupec2
    -----------------------------------
    fasd8fSDd6    | 0        | retezec
    
    
    soubor1:
    identifikator | sloupec1 | sloupec2
    -----------------------------------
    fasd8fSDd6    | false    | -51
    
    
    ... a pak join using identifikator ... moznost where, order ...
    
    
    2/ jednou tabulkou
    
    soubor  | identifikator | sloupec  | hodnota_bool | hodnota_varchar | hodnota_int
    ---------------------------------------------------------------------------------
    soubor0 | fasd8fSDd6    | sloupec1 | NULL         | NULL            | 0
    soubor0 | fasd8fSDd6    | sloupec2 | NULL         | retezec         | NULL
    soubor1 | fasd8fSDd6    | sloupec1 | false        | NULL            | NULL
    soubor1 | fasd8fSDd6    | sloupec2 | NULL         | NULL            | -51
    
    tady nevim, jaky dotaz pouzit?
    
    Nemůžu se zbavit dojmu, že za 2/ je takové čistější, ale asi také o dost pomalejší (??).
    okbob avatar 11.1.2011 06:34 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: Textové soubory do relační databáze - struktura db
    Takhle od stolu se nedá říci, které řešení je výhodnější - vyzkoušejte si rychlost nejčastějších dotazů a pohodlí sestavovaní dotazů. Vaše druhá varianta je analogií materializace. Což někdy je výhodné, a někdy ne. Záleží na přístupu. Pokud bych měl hodně souborů tak bych inklinoval spíš k jedné nebo dvoum tabulkám. S málem souborů můžete mít tabulky per soubor.
    11.1.2011 08:15 4rasic
    Rozbalit Rozbalit vše Re: Textové soubory do relační databáze - struktura db
    No těch "spolusouvisejících" souborů bude okolo 10. Maximálně tak 100. On asi také není zanedbatelný čas pro samotné spojování několika statisíce řádkových tabulek že? V té dvojce maximálně spojím tabulky 2 (pokud to budu mít v 3NF). U té 2/ varianty jsou ale zase "nevyužité sloupce" (NULL). Kolik času navíc zabere procházení takových sloupců, pokud bych podle nich chtěl třeba hledat? V těch záznamech se také bude často hledat pomocí LIKE '%neco%'.
    okbob avatar 11.1.2011 12:50 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: Textové soubory do relační databáze - struktura db
    to spojeni tabulek je pomerne zanedbatelne relativne ku cteni dat z disku. Zjednodusene - db dotazy jsou tim pomalejsi cim vic ctete data, ktera vas v tu chvili nezajimaji. NULL znamena +/- 1 bit - zalezi na db a typu. To ze budete vyhledavat skrz LIKE znamena, ze se Vam nebudou chytat indexy. Coz by vedlo na oddelene tabulky. Zase, pri deseti tabulkach je to ok, ale pri 100 tabulkach se budete proklinat, az budete psat dotazy. Ja bych zkusil nahnacat do jedne, dvou tabulek, vygeneroval si testovaci data, a pak si vyzkousel, jak dlouho trvaji dotazy.
    11.1.2011 16:05 4rasic
    Rozbalit Rozbalit vše Re: Textové soubory do relační databáze - struktura db
    Tak já přímo dotazy psát nebudu, to si naprogramuju a bude se to generovat automaticky, takže je mi jedno jestli ten dotaz bude mít 10M. Teď jsem si jen tak letmo zkusil v mysql (pak asi použiju firebird nebo postgres, ale to je teď jedno) vygenerovat 450000 řádkovou tabulku + 70000 řádkovou tabulku. Pokud hledám jen v té větší tabulce, zabere to při použití like 0.0684s, po spojení left joinem (uvědomil jsem si, že inner join je blbost, protože budu chtít vidět "všechna" data - v závislosti na konkrétní tabulce) nad oběma 0.0849s. Pokud zdvojnásobím počty řádků v tabulkách, tak časy jsou pak několikanásobně větší. Tzn. že pokud spojím 3 2sloupcové tabulky s počtem řádků 1 000 000 left joinem, budu mít maximálně 1 000 000 řádků po spojení. V případě 1 tabulky jich bude 3 * 2 * 1 000 000 a to pak bude trvat hoodně dlouho než se to projde. Mimochodem kdybych měl 1 tabulku - jakým způsobem bych v ní hledal? Jak by vypadal pro jednotabulkovou variantu tento dotaz?:
    select identifikator from soubor1 where (sloupec1 = 'neco' AND sloupec2 = 'necojine') OR sloupec2 = 'necojine2' order by sloupec1, sloupec2 desc limit 300 offset 2;
    
    To je jeden z typických dotazů nad daty a teď si neumím představit variantu pro jedno(dvou)tabulkové řešení. Asi tam budou nějaké vnořené dotazy a nějaký union, ale sql tak dobře neznám.
    11.1.2011 19:48 jk
    Rozbalit Rozbalit vše Re: Textové soubory do relační databáze - struktura db
    tak u toho prikladu bych vam radil, at na to nejdete s sqlite.

    Zrovna su hraju v sqlite s jednou tabulkou, ktera ma 3 miliony radku jakmile reknu order by pole1,pole2 desc, tak trva dotaz 4 minuty, vzestupne 4 vteriny. A to mam slozeny index na tech polich pole1, pole2.

    Kdyz pouziji pouze order by pole1 desc, tak to jde take okamzite.
    11.1.2011 20:43 jekub
    Rozbalit Rozbalit vše Re: Textové soubory do relační databáze - struktura db
    a udelat index pole1, pole2 desc nepomuze?

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.