abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 23:45 | Zajímavý software

Na blogu Qt bylo představeno Qt 3D Studio. Jedná se o produkt dosud známý pod názvem NVIDIA DRIVE™ Design Studio. NVIDIA jej věnovala Qt. Jedná se o několik set tisíc řádků zdrojového kódu. Qt 3D Studio bude stejně jako Qt k dispozici jak pod open source, tak pod komerční licencí. Ukázka práce s Qt 3D Studiem na YouTube.

Ladislav Hagara | Komentářů: 0
včera 17:50 | Komunita

Nadace The Document Foundation (TDF) zastřešující vývoj svobodného kancelářského balíku LibreOffice slaví 5 let od svého oficiálního vzniku. Nadace byla představena 28. září 2010. Formálně byla založena ale až 17. února 2012.

Ladislav Hagara | Komentářů: 0
včera 12:50 | Komunita

Mozilla.cz informuje, že dosud experimentální funkce Page Shot z programu Firefox Test Pilot (zprávička) se stane součástí Firefoxu. Page Shot je nástroj pro vytváření snímků webových stránek. Umí výběr oblasti, prvku stránky (např. odstavce), nebo uložení snímku celé stránky. Snímky lze ukládat na disk nebo nahrávat na server Mozilly. Nedávno bylo oznámeno, že se součástí Firefoxu stane Activity Stream.

Ladislav Hagara | Komentářů: 7
včera 04:10 | Nová verze

Po 10 týdnech vývoje od vydání Linuxu 4.9 (zprávička) oznámil Linus Torvalds, mj. již 20 let žijící v USA, vydání Linuxu 4.10 (LKML). Přehled nových vlastností a vylepšení například na Kernel Newbies a v Jaderných novinách (1, 2 a 3). Kódové jméno Linuxu 4.10 je Fearless Coyote.

Ladislav Hagara | Komentářů: 4
19.2. 15:55 | Zajímavý projekt

Vyzkoušet si příkazy a vyřešit několik úkolů lze na stránkách Commandline Challenge (CMD Challenge). Úkoly lze řešit různými způsoby, důležitý je výsledek. Zdrojové kódy jsou k dispozici na GitHubu pod licencí MIT.

Ladislav Hagara | Komentářů: 18
18.2. 17:35 | Bezpečnostní upozornění

Německá Bundesnetzagentur (obdoba českého ČTU) zakázala na německém území prodej panenky Cayla kvůli „špionáži“ dětí. Tato elektronická hračka obsahuje mikrofon, reproduktor a kameru a bezdrátové komunikační rozhraní, pomocí kterého se hračka připojuje na servery výrobce. Takovýmto způsobem může hračka pomocí umělé inteligence „odpovídat“ na dotazy dítěte. Hlavní problém bude ale asi někde jinde, podle prvotních zpráv může

… více »
Petr Tomášek | Komentářů: 31
17.2. 15:30 | Bezpečnostní upozornění

CSIRT.CZ upozorňuje, že bezpečnostní experti objevili nový typ malwaru, jenž cílí na open source e-commerce platformu Magento. Malware je zajímavý tím, že se jedná o první svého druhu, jehož kód zůstává skrytý v SQL databázi zasaženého e-shopu. Škodlivý kód je volán pomocí tzv. SQL trigerru, který je spouštěn při každém vytvoření objednávky v systému.

Ladislav Hagara | Komentářů: 3
17.2. 09:00 | Nová verze

Bylo vydáno Ubuntu 16.04.2 LTS, tj. druhé opravné vydání Ubuntu 16.04 LTS s kódovým názvem Xenial Xerus. Přehled novinek v poznámkách k vydání a v přehledu změn.

Ladislav Hagara | Komentářů: 57
17.2. 06:00 | Zajímavý článek

Pavel Tišnovský se v dvoudílném článku na MojeFedora.cz věnuje tvorbě pluginů (modulů) pro bitmapový grafický editor GIMP. Pomocí pluginů lze GIMP rozšiřovat o další funkce. Implementovat lze například nové filtry nebo pomocné utility pro tvorbu animací či poloautomatickou retuš snímků.

Ladislav Hagara | Komentářů: 6
16.2. 23:32 | Komunita

Do 30. března se lze přihlásit do dalšího kola programu Outreachy, jehož cílem je přitáhnout do světa svobodného a otevřeného softwaru lidi ze skupin, jež jsou ve světě svobodného a otevřeného softwaru málo zastoupeny. Za 3 měsíce práce, od 30. května do 30. srpna 2017, v participujících organizacích lze vydělat 5 500 USD. Jedná se již o 14. kolo tohoto programu.

Ladislav Hagara | Komentářů: 11
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (13%)
 (2%)
 (71%)
 (3%)
 (10%)
Celkem 670 hlasů
 Komentářů: 53, poslední včera 18:38
Rozcestník
Reklama

Dotaz: Deduplikace hodnot v relační databázi

xkucf03 avatar 21.1.2014 13:28 xkucf03 | skóre: 45 | blog: xkucf03
Deduplikace hodnot v relační databázi
Přečteno: 616×

K deduplikaci (odstranění redundance) nás vedou už normální formy, nicméně nejde jen o dodržování nějakých teoretických pouček, ale i o čistě praktické dopady – menší velikost databáze, rychlejší vyhledávání atd.

Jednu informaci bychom měli mít v databázi uloženou jen jednou a z ostatních míst se na ni odkazovat pomocí cizích klíčů.

Co ale dělat v případě, kdy na vstupu máme data v denormalizované podobě (dost běžný jev)?

Dejme tomu, že do databáze budeme ukládat logy (nemusí to být vůbec logy, je to jen příklad). A máme dokonce to štěstí, že máme zvlášť logovací hlášku a zvlášť její parametry a čas – hláška je např.

Chyba v komponentě XY, při parametrech a = {0}, b = {1}

a k tomu máme dvouprvkové pole parametrů a časové razítko vzniku události.

Hláška je konstantní zatímco parametry a čas se mohou měnit. Hlášek v jedné aplikaci budou třeba desítky nebo stovky, ale počty instancí logovaných událostí budou řádově mnohem vyšší.

Můžeme si tedy v databázi vytvořit číselník hlášek a na něj se odkazovat z tabulky událostí.

Tohle jsem si už vyzkoušel v malém a funguje to dobře – do tabulky „událostí“ (nejde o události, ale princip je stejný) neukládám hlášku jako text, ale v tom INSERTu zavolám funkci, která prohledá číselník, v případě potřeby přidá záznam a vrátí ID – tzn.

INSERT INTO udalost VALUES (:čas, moje_funkce(:hláška), …)

místo

INSERT INTO udalost VALUES (:čas, :hláška, …)

Nedochází k duplikacím, databáze je menší, vyhledávání rychlejší… ale při zápisu je potřeba projet číselník a případně do něj přidat nový záznam.

Na základě čeho byste se rozhodovali, zda zvolit tohle řešení (lepší uložení a čtení, ale horší zápis) nebo zda radši rezignovat na normalizaci a připustit duplicity?

Další možnost je přidávat nové záznamy do nějaké fronty (dočasné tabulky) a asynchronně dohledávat hodnoty v číselníku (resp. je tam přidávat) a přesouvat data do trvalé tabulky. Zápis tak může být rychlý a potřebná práce se udělá, až bude čas – ale zase nepůjde vyhledávat v úplně nejnovějších hodnotách.

Existuje k tomu nějaká abstrakce, aby člověk prostě volal INSERTy a SELECTy a nemusel se o nic víc starat? Třeba nějaká sada triggerů nebo modul do databáze? Nebo je potřeba si takovou věc napsat na míru?

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-Výuka.cz, Nekuřák.net

Odpovědi

21.1.2014 15:46 Kit | skóre: 37 | Brno
Rozbalit Rozbalit vše Re: Deduplikace hodnot v relační databázi
Podle mne je nejpoužívanější abstrakcí
CALL pridej_udalost(:čas, :hláška, …);
Zkoušel jsem i triggery, také to není špatné.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
xkucf03 avatar 21.1.2014 16:45 xkucf03 | skóre: 45 | blog: xkucf03
Rozbalit Rozbalit vše Re: Deduplikace hodnot v relační databázi

To je více méně formalita, jestli to celé zabalíš do funkce/procedury nebo jestli je funkce jen ten kousek který pracuje s číselníkem a zbytek je standardní INSERT. Ale tak jako tak, tu funkci/proceduru musíš napsat na míru – což tedy v současnosti používám, ale šlo mi o to, zda nevynalézám znovu kolo a neexistuje třeba už něco hotového.

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-Výuka.cz, Nekuřák.net
21.1.2014 17:19 Filip Jirsák
Rozbalit Rozbalit vše Re: Deduplikace hodnot v relační databázi
Pokud sháníš sadu triggerů nebo modul, je potřeba napsat, pro jakou databázi. Pokud by pro ni náhodou něco takového existovalo – spíš bych ale řekl, že si to musíš napsat sám.

Rozhoduju se hlavně podle množství ukládaných dat – kolik se deduplikací ušetří. Řešil jsem to tak, že tabulka s deduplikovanými daty měla sloupeček hash, který sloužil jako primární klíč. Tím pádem procházení číselníku při zápisu nebylo nijak náročné. V případě zápisu velkých dat jsem zvažoval i variantu nejprve se databáze zeptat, zda daný hash zná, a teprve v případě záporné odpovědi poslat data s hashem. Ušetří se tím zbytečný přenos velkého objemu dat mezi aplikací a databází v případě, že by byl záznam duplicitní.
21.1.2014 17:54 jekub
Rozbalit Rozbalit vše Re: Deduplikace hodnot v relační databázi
Použil bych pohled, který odpovídá vstupním datům. K tomu trigger instead of insert, který to rozháže do skutečných tabulek (nebo cokoli jiného).

Při insertu nemusíte vědět jaké máte volat funkce, prostě tam sypete hodnoty. To může být výhodné při použití obecných nástrojů pro import.

Nebo data dodává třetí strana, které se zpřístupní takový pohled pro insert a nemusím se starat o vlastní nahrávání. Přitom skutečná struktura zůstává skryta.

Abych to shrnul - db klientovi stačí umět prostý insert, o nic dalšího se nemusí starat.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.