abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 13:30 | Zajímavý software

Byly uvolněny zdrojové kódy známé rogue-like hry DoomRL. Počátky hry jsou v roce 2002. Je napsána ve FreePascalu a zdrojový kód je nyní k dispozici na GitHubu pod licencí GNU GPL 2.0. Autor pracuje na nové hře Jupiter Hell, která je moderním nástupcem DoomRL a na jejíž vývoj shání peníze prostřednictvím Kickstarteru.

Blaazen | Komentářů: 0
dnes 13:15 | Pozvánky

Přijďte s námi oslavit vydání Fedory 25. Na programu budou přednášky o novinkách, diskuse, neřízený networking atd. Release Party se bude konat 16. prosince v prostorách společnosti Etnetera. Na party budou volně k dispozici také propagační materiály, nová DVD s Fedorou 25 a samozřejmě občerstvení. Přednášky budou probíhat v češtině. Pro více informací se můžete podívat na web MojeFedora.cz. Jen připomínám, že tentokrát jsme zavedli

… více »
frantisekz | Komentářů: 0
včera 16:38 | Komunita

Byly zveřejněny videozáznamy přednášek a workshopů z letošní konference OpenAlt konané 5. a 6. listopadu v Brně. K videozáznamům lze přistupovat ze stránky na SuperLectures nebo přes program konference, detaily o vybrané přednášce nebo workshopu a dále kliknutím na ikonku filmového pásu. Celkově bylo zpracováno 65 hodin z 89 přednášek a workshopů.

Ladislav Hagara | Komentářů: 0
včera 11:30 | Komunita

Bylo oznámeno, že bude proveden bezpečnostní audit zdrojových kódů open source softwaru pro implementaci virtuálních privátních sítí OpenVPN. Audit provede Matthew D. Green (blog), uznávaný kryptolog a profesor na Univerzitě Johnse Hopkinse. Auditována bude verze 2.4 (aktuálně RC 1, stabilní verze je 2.3.14). Audit bude financován společností Private Internet Access [reddit].

Ladislav Hagara | Komentářů: 4
včera 06:00 | Komunita

Na YouTube byl publikován Blender Institute Reel 2016, ani ne dvouminutový sestřih z filmů, které vznikly za posledních 10 let díky Blender Institutu. V institutu aktuálně pracují na novém filmu Agent 327. Dění kolem filmu lze sledovat na Blender Cloudu. Videoukázka Agenta 327 z června letošního roku na YouTube.

Ladislav Hagara | Komentářů: 0
včera 01:02 | Zajímavý článek

Minulý týden byly vydány verze 1.2.3 a 1.1.7 webového poštovního klienta Roundcube. V oznámení o vydání bylo zmíněno řešení bezpečnostního problému nalezeného společností RIPS a souvisejícího s voláním funkce mail() v PHP. Tento týden byly zveřejněny podrobnosti. Útočník mohl pomocí speciálně připraveného emailu spustit na serveru libovolný příkaz. Stejně, jak je popsáno v článku Exploit PHP’s mail() to get remote code execution z roku 2014.

Ladislav Hagara | Komentářů: 1
8.12. 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 1
8.12. 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 5
7.12. 21:21 | Nová verze Ladislav Hagara | Komentářů: 0
7.12. 11:44 | Zajímavý projekt

Na Indiegogo byla spuštěna kampaň na podporu herní mini konzole a multimediálního centra RetroEngine Sigma od Doyodo. Předobjednat ji lze již od 49 dolarů. Požadovaná částka 20 000 dolarů byla překonána již 6 krát. Majitelé mini konzole si budou moci zahrát hry pro Atari VCS 2600, Sega Genesis nebo NES. Předinstalováno bude multimediální centrum Kodi.

Ladislav Hagara | Komentářů: 2
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 808 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Deduplikace hodnot v relační databázi

xkucf03 avatar 21.1.2014 13:28 xkucf03 | skóre: 45 | blog: xkucf03
Deduplikace hodnot v relační databázi
Přečteno: 613×

K deduplikaci (odstranění redundance) nás vedou už normální formy, nicméně nejde jen o dodržování nějakých teoretických pouček, ale i o čistě praktické dopady – menší velikost databáze, rychlejší vyhledávání atd.

Jednu informaci bychom měli mít v databázi uloženou jen jednou a z ostatních míst se na ni odkazovat pomocí cizích klíčů.

Co ale dělat v případě, kdy na vstupu máme data v denormalizované podobě (dost běžný jev)?

Dejme tomu, že do databáze budeme ukládat logy (nemusí to být vůbec logy, je to jen příklad). A máme dokonce to štěstí, že máme zvlášť logovací hlášku a zvlášť její parametry a čas – hláška je např.

Chyba v komponentě XY, při parametrech a = {0}, b = {1}

a k tomu máme dvouprvkové pole parametrů a časové razítko vzniku události.

Hláška je konstantní zatímco parametry a čas se mohou měnit. Hlášek v jedné aplikaci budou třeba desítky nebo stovky, ale počty instancí logovaných událostí budou řádově mnohem vyšší.

Můžeme si tedy v databázi vytvořit číselník hlášek a na něj se odkazovat z tabulky událostí.

Tohle jsem si už vyzkoušel v malém a funguje to dobře – do tabulky „událostí“ (nejde o události, ale princip je stejný) neukládám hlášku jako text, ale v tom INSERTu zavolám funkci, která prohledá číselník, v případě potřeby přidá záznam a vrátí ID – tzn.

INSERT INTO udalost VALUES (:čas, moje_funkce(:hláška), …)

místo

INSERT INTO udalost VALUES (:čas, :hláška, …)

Nedochází k duplikacím, databáze je menší, vyhledávání rychlejší… ale při zápisu je potřeba projet číselník a případně do něj přidat nový záznam.

Na základě čeho byste se rozhodovali, zda zvolit tohle řešení (lepší uložení a čtení, ale horší zápis) nebo zda radši rezignovat na normalizaci a připustit duplicity?

Další možnost je přidávat nové záznamy do nějaké fronty (dočasné tabulky) a asynchronně dohledávat hodnoty v číselníku (resp. je tam přidávat) a přesouvat data do trvalé tabulky. Zápis tak může být rychlý a potřebná práce se udělá, až bude čas – ale zase nepůjde vyhledávat v úplně nejnovějších hodnotách.

Existuje k tomu nějaká abstrakce, aby člověk prostě volal INSERTy a SELECTy a nemusel se o nic víc starat? Třeba nějaká sada triggerů nebo modul do databáze? Nebo je potřeba si takovou věc napsat na míru?

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-Výuka.cz, Nekuřák.net

Odpovědi

21.1.2014 15:46 Kit | skóre: 37 | Brno
Rozbalit Rozbalit vše Re: Deduplikace hodnot v relační databázi
Podle mne je nejpoužívanější abstrakcí
CALL pridej_udalost(:čas, :hláška, …);
Zkoušel jsem i triggery, také to není špatné.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
xkucf03 avatar 21.1.2014 16:45 xkucf03 | skóre: 45 | blog: xkucf03
Rozbalit Rozbalit vše Re: Deduplikace hodnot v relační databázi

To je více méně formalita, jestli to celé zabalíš do funkce/procedury nebo jestli je funkce jen ten kousek který pracuje s číselníkem a zbytek je standardní INSERT. Ale tak jako tak, tu funkci/proceduru musíš napsat na míru – což tedy v současnosti používám, ale šlo mi o to, zda nevynalézám znovu kolo a neexistuje třeba už něco hotového.

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-Výuka.cz, Nekuřák.net
21.1.2014 17:19 Filip Jirsák
Rozbalit Rozbalit vše Re: Deduplikace hodnot v relační databázi
Pokud sháníš sadu triggerů nebo modul, je potřeba napsat, pro jakou databázi. Pokud by pro ni náhodou něco takového existovalo – spíš bych ale řekl, že si to musíš napsat sám.

Rozhoduju se hlavně podle množství ukládaných dat – kolik se deduplikací ušetří. Řešil jsem to tak, že tabulka s deduplikovanými daty měla sloupeček hash, který sloužil jako primární klíč. Tím pádem procházení číselníku při zápisu nebylo nijak náročné. V případě zápisu velkých dat jsem zvažoval i variantu nejprve se databáze zeptat, zda daný hash zná, a teprve v případě záporné odpovědi poslat data s hashem. Ušetří se tím zbytečný přenos velkého objemu dat mezi aplikací a databází v případě, že by byl záznam duplicitní.
21.1.2014 17:54 jekub
Rozbalit Rozbalit vše Re: Deduplikace hodnot v relační databázi
Použil bych pohled, který odpovídá vstupním datům. K tomu trigger instead of insert, který to rozháže do skutečných tabulek (nebo cokoli jiného).

Při insertu nemusíte vědět jaké máte volat funkce, prostě tam sypete hodnoty. To může být výhodné při použití obecných nástrojů pro import.

Nebo data dodává třetí strana, které se zpřístupní takový pohled pro insert a nemusím se starat o vlastní nahrávání. Přitom skutečná struktura zůstává skryta.

Abych to shrnul - db klientovi stačí umět prostý insert, o nic dalšího se nemusí starat.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.