abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 00:11 | Nová verze

Eclipse Foundation oznámila vydání nové verze vývojového prostředí Eclipse. Eclipse 4.7 s kódovým označením Oxygen vychází rok po vydání verze 4.6 s kódovým označením Neon (zprávička) a přináší celou řadu novinek. Jejich představení také na YouTube.

Ladislav Hagara | Komentářů: 0
včera 23:33 | Zajímavý software

Před týdnem Lennart Poettering představil casync, tj. nástroj pro distribuci obrazů systémů. Dnes oficiálně představil mkosi, tj. nástroj pro generování těchto obrazů. Zdrojové kódy mkosi jsou k dispozici na GitHubu pod licencí LGPL-2.1.

Ladislav Hagara | Komentářů: 0
včera 16:00 | Bezpečnostní upozornění

Ve správci systému a služeb systemd, konkrétně v systemd-resolved, byla nalezena bezpečnostní chyba CVE-2017-9445. Útočník může vzdáleně shodit server nebo spustit libovolný příkaz.

Ladislav Hagara | Komentářů: 19
27.6. 11:33 | Pozvánky

Konference LinuxDays 2017 proběhne o víkendu 7. a 8. října v Praze v Dejvicích v prostorách FIT ČVUT. Konference OpenAlt 2017 proběhne o víkendu 4. a 5. listopadu na FIT VUT v Brně. Organizátoři konferencí vyhlásili CFP (LinuxDays, OpenAlt). Přihlaste svou přednášku nebo doporučte konference známým.

Ladislav Hagara | Komentářů: 1
27.6. 06:00 | Nová verze

Byla vydána verze 1.3.0 odlehčeného desktopového prostředí Lumina (Wikipedie, GitHub) postaveného nad toolkitem Qt. Z novinek lze zmínit nový motiv ikon nahrazující Oxygen (material-design-[light/dark]) nebo vlastní multimediální přehrávač (lumina-mediaplayer).

Ladislav Hagara | Komentářů: 2
26.6. 17:33 | Bezpečnostní upozornění

Před šesti týdny byly publikovány výsledky bezpečnostního auditu zdrojových kódů OpenVPN a nalezené bezpečnostní chyby byly opraveny ve verzi OpenVPN 2.4.2. Guido Vranken minulý týden oznámil, že v OpenVPN nalezl další čtyři bezpečnostní chyby (CVE-2017-7520, CVE-2017-7521, CVE-2017-7522 a CVE-2017-7508). Nejzávažnější z nich se týká způsobu, jakým aplikace zachází s SSL certifikáty. Vzdálený útočník může pomocí speciálně

… více »
Ladislav Hagara | Komentářů: 1
26.6. 06:55 | Zajímavý projekt

V Edici CZ.NIC vyšla kniha Průvodce labyrintem algoritmů. Kniha je ke stažení zcela zdarma (pdf) nebo lze objednat tištěnou verzi za 339 Kč (připojení přes IPv4) nebo 289 Kč (připojení přes IPv6).

Ladislav Hagara | Komentářů: 10
26.6. 06:33 | Zajímavý software

Byla vydána verze 2.2.0 svobodného správce hesel KeePassXC (Wikipedie). Jedná se o komunitní fork správce hesel KeePassX s řadou vylepšení.

Ladislav Hagara | Komentářů: 0
26.6. 06:11 | IT novinky

Vývojář Debianu Henrique de Moraes Holschuh upozorňuje v diskusním listu debian-devel na chybu v Hyper-Threadingu v procesorech Skylake a Kaby Lake od Intelu. Za určitých okolností může chyba způsobit nepředvídatelné chování systému. Doporučuje se aktualizace mikrokódu CPU nebo vypnutí Hyper-Threadingu v BIOSu nebo UEFI [reddit].

Ladislav Hagara | Komentářů: 0
24.6. 01:23 | Komunita

Phoronix spustil 2017 Linux Laptop Survey. Tento dotazník s otázkami zaměřenými na parametry ideálního notebooku s Linuxem lze vyplnit do 6. července.

Ladislav Hagara | Komentářů: 3
Chystáte se pořídit CPU AMD Ryzen?
 (7%)
 (31%)
 (1%)
 (9%)
 (44%)
 (9%)
Celkem 858 hlasů
 Komentářů: 65, poslední 1.6. 19:16
    Rozcestník

    Dotaz: Makro-preprocesor pro SQL?

    xkucf03 avatar 4.1.2016 21:42 xkucf03 | skóre: 46 | blog: xkucf03
    Makro-preprocesor pro SQL?
    Přečteno: 1444×

    Jak řešíte situace, kdy máte v databázi číselníkové tabulky (obsahující číselné ID, jedinečný textový kód a případně další atributy), další tabulky, které se na ně odkazují přes ta číselná ID a chcete nad tím psát SELECTy (neprocedurální, čisté SQL), ve kterých potřebujete hodnoty z těch číselníků?

    Jsem zvyklý dělat JOIN s číselníkovou tabulkou a v SELECTu používat ty textové kódy. Dávat tam magické konstanty v podobě těch číselných ID považuji za prasárnu a předčasnou optimalizaci – bude se to špatně číst a bude to příliš křehké – takové programy mají tendenci se rozbíjet a chovat se divně, nepředvídatelně.

    Pokud byste přeci jen došli k tomu, že JOIN je nepřijatelně pomalý, jak byste to řešili jinak?

    Konstanty asi na většině systémů v SQL (neprocedurálním) použít nepůjdou. Dá se udělat funkce (IMMUTABLE), která vrací číselné ID, a v rámci SELECTu ji zavolat.

    Taky by k těm magickým konstantám šlo psát komentáře. To by trochu pomohlo, ale ne moc – program by byl stále moc křehký a nespolehlivý.

    Kdyby ty komentáře měly nějakou pevnou strukturu a byly strojově čitelné, šlo by si k tomu napsat skripty, které by zkontrolovaly, že jsou tam správné magické konstanty, případně by aspoň usnadnily nalezení míst, kde je potřeba hodnotu změnit. Příklad:

    SELECT *
    FROM tabulka
    WHERE stav = 384 -- xxx:tabulka_stavů:kód_stavu

    Napadlo mě, že by na to šlo jít i opačně a SQL skript před provedením prohnat nějakým preprocesorem (buď v době kompilace nebo při prvním načtení v době běhu), což by umožňovalo v něm používat konstanty případně i další makra.

    Zkusil jsem si, jak to vypadá v m4 a cpp.

    CPP – soubor s makry:

    #define KONSTANTA_1 1337

    CPP – dotaz:

    #include "makra.sql"
    
    SELECT *
    FROM tabulka
    WHERE
      stav = KONSTANTA_1 -- tohle chceme nahradit
      AND popis <> 'KONSTANTA_1' -- tohle se nemá nahradit
      AND popis NOT LIKE '%KONSTANTA_1%' -- dtto

    CPP – výsledek:

    # 1 "dotaz.sql"
    # 1 "<built-in>"
    # 1 "<command-line>"
    # 1 "/usr/include/stdc-predef.h" 1 3 4
    # 1 "<command-line>" 2
    # 1 "dotaz.sql"
    # 1 "makra.sql" 1
    # 2 "dotaz.sql" 2
    
    SELECT *
    FROM tabulka
    WHERE
      stav = 1337
      AND popis <> 'KONSTANTA_1'
      AND popis NOT LIKE '%KONSTANTA_1%'

    M4 – soubor s makry:

    define(KONSTANTA_1, 1337)

    M4 – dotaz:

    include(`makra.m4')
    
    SELECT *
    FROM tabulka
    WHERE
      stav = KONSTANTA_1 -- tohle chceme nahradit
      AND popis <> '`KONSTANTA_1'' -- tohle se nemá nahradit
      AND popis NOT LIKE '%`KONSTANTA_1'%' - dtto

    M4 – výstup:

    SELECT *
    FROM tabulka
    WHERE
      stav = 1337
      AND popis <> 'KONSTANTA_1'
      AND popis NOT LIKE '%KONSTANTA_1%'
    

    Ale není to úplně ono. CPP je určené pro jazyk C a tady funguje spíš náhodou. A hlavně by to chtělo nějaká neinvazivní makra, která nenarušují syntaxi SQL – aby fungovalo zvýraznění syntaxe a případně další nástroje i nad zdrojovým souborem.

    Použili byste CPP nebo M4? Případně jak? Nebo jiný preprocesor? Nebo ty funkce? Nebo byste zůstali u JOINů? (mnou preferovaná varianta – i když ty preprocesory mne trochu lákají, protože to skýtá i jiné možnosti…)

    Řešili byste tuhle otázku jinak v různých DBMS? (PostgreSQL, MariaDB/MySQL, Oracle)

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-Výuka.cz, Nekuřák.net

    Odpovědi

    4.1.2016 22:10 Kit | skóre: 38 | Brno
    Rozbalit Rozbalit vše Re: Makro-preprocesor pro SQL?
    JOIN by měl být dostatečně rychlý. Tohle asi bude výjimka.

    V MySQL tohle řeším přes ENUM(). Databáze si ten klíč z dotazu přeloží na konstantu integer a pak hledá rychle. Rovněž výsledky jsou prezentovány slovně. Mně to velmi vyhovuje, protože mi na to snadno navazují výstupní vícejazykové šablony. Jako vstup i výstup lze použít integer, ale tomu se vyhýbám. Problémem může být udržení konzistence při použití jednoho číselníku ve více tabulkách.

    Konstanty tedy nedefinuji v aplikaci, ale přímo v databázi. Snese to i modifikaci typu ENUM(), vše se vnitřně automaticky přečísluje - z praktických důvodu je však lepší to dělat jen výjimečně.

    PostgreSQL na to umožňuje definici vlastního datového typu. Jedná se de facto o další tabulku a implicitní JOIN.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    6.1.2016 17:35 OldFrog {Ondra Nemecek} | skóre: 26 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Makro-preprocesor pro SQL?
    Mě zaujala ta varianta funkcí. Pokud je fce IMMUTABLE tak se snad pro daný parametr i cachuje hodnota, ne? Takže by to mohlo být dost rychlé. A pohodlnější+čitelnější než subselect (který osobně používám já). View se budou asi hodit, pokud se ty stejné dotazy pořád opakují. Pak lze celý join nebo dotaz včetně subseletů elegantně schovat pod kapotu. Ale pro jednorázovky si to nedokážu představit (možná mám malou představivost).
    -- OldFrog
    6.1.2016 17:36 OldFrog {Ondra Nemecek} | skóre: 26 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Makro-preprocesor pro SQL?
    Eee, chtěl jsem reagovat na původní příspěvek, ne na Kita.
    -- OldFrog
    rADOn avatar 6.1.2016 18:06 rADOn | skóre: 44 | blog: bloK | Praha
    Rozbalit Rozbalit vše Re: Makro-preprocesor pro SQL?
    Enum ma dalsi vyhodu ze se nemusi delat cizi klic, takze si usetrim potencialne zbytecny index. A taky celkem podstatnou nevyhodu v tom ze kazda zmena znamena udelat alter coz na velkych tabulich muze byt docela problem.
    "2^24 comments ought to be enough for anyone" -- CmdrTaco
    6.1.2016 23:32 Kit | skóre: 38 | Brno
    Rozbalit Rozbalit vše Re: Makro-preprocesor pro SQL?
    Není náhodou modifikace toho ENUM stejný výkonnostní problém jako modifikace číselníku připojovaného přes JOIN? Zkusil jsem přidat položku do ENUM v tabulce se čtvrt miliónem záznamů a změna byla okamžitá (0,11 s)

    Horší by bylo, kdybych nějakou položku vyřadil nebo přehodil (32,56 s). Ovšem s číselníkem by to lepší určitě nebylo.

    Takže pokud se udělá alter na ENUM tak, že se pouze přidá položka na konec, ani na obrovských tabulích to problém není.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    okbob avatar 5.1.2016 10:39 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: Makro-preprocesor pro SQL?
    Makrem v SQL jsou pohledy. Číselník, který se vejde do paměti, je díky hashjoinu v podstatě zadarmo. Jedinou nevýhodou může být zhoršení odhadů, protože se nepracuje se uloženou statistikou (alespoň v Postgresu) a používá se odhad procentem - což pokud jsou některé položky příliš dominantní může působit problémy v komplexních dotazech. V jednodušších dotazech a s normálními daty se většinou nic špatného neděje.
    Josef Kufner avatar 6.1.2016 02:18 Josef Kufner | skóre: 67
    Rozbalit Rozbalit vše Re: Makro-preprocesor pro SQL?
    Podívej se na EXPLAIN, ten ti řekne, zda to zdržuje nebo ne. Já bych tam dal subselect, který by vrátil to správné ID podle hodnoty v číselníku. Je menší šance, že se tím rozdrbou nějaké další joiny. Navíc subselect se dá bezpečně dosadit i tím preprocesorem, nebo lépe query builderem.

    Pro složitější SQL dotazy používám query builder. Pokud bych chtěl takto pracovat s číselníky, rozšířil bych si ho o metodu, která by přidala odpovídající subselect. Takže by to mohlo vypadat takto:
    $result = $flupdo->select('*')->from('tabulka')
        ->whereZCiselniku('stav =', 'KONSTANTA_1')
        ->where('popis <> ?', 'KONSTANTA_1')
        ->where('popis NOT LIKE CONCAT("%", ?, "%")', 'KONSTANTA_1');
    Výsledný SQL dotaz by pak byl:
    SELECT *
    FROM tabulka
    WHERE
      stav = (SELECT id FROM cislenik WHERE popis = ? LIMIT 1)
      AND popis <> ?
      AND popis NOT LIKE CONCAT("%", ?, "%")
    (A samozřejmě také odpovídající pole s parametry.)
    Hello world ! Segmentation fault (core dumped)
    6.1.2016 23:11 Tomáš
    Rozbalit Rozbalit vše Re: Makro-preprocesor pro SQL?

    Na tyto věci používám program sed ( případně Perl nebo Ruby jako stream filter přepínač -p). Zejména operátor s///. Používal jsem to jako mockovací systém pro SQL, kdy jsem potřeboval nahradit jméno tabulky jinou - mockem. S trochou formátovací kultury se s tím dala napsat pravidla i pro kontextové nahrazení. Například čtení bude z tabulky původní, ale zápis jde do jiné tabulky (syntaxe regexp ala perl pro zvýšení čitelnosti):

    s/my_table/for_writing/g
    s/((from)|(join)\s+)for_writing/my_table/g
    

    Předpokadem byla formátovací kultura používat explicitně join klíčové slovo a nepoužívat join skrytý v klausuli where. Je potřeba tomu preprocesingu trošku pomoci. Kompletní generické parsování SQL by nebyl vůbec triviální úkol. A rozhodně bych se nesnažil o validaci SQL vlastním kódem.

    Otázka zda zabránit substituci v řetězcích je spíše otázkou: "Co když takovou substituci budete chtít?" Pokud si matně pamatuji, řešil jsem problém potlačení substituce explicitně:

    where X.x = 'my_table' -- @no_substitute@ opravdu zde nechci substituci
    
    /@no_substitute@/ b # přeskočí řádky označené @no_substitute@

    Pokud budete chtít zamezit kolizi vyberte si dostatečně divoké jméno proměnné tak aby nekolidovala. Např:

    stav = @@KONSTANTA_1@@

    Tak divoký řetězec snad nikde mít nikdy nebudete. Ale pamatuji si že se mi substituce v řetězcích hodila. Myslím, že to bylo nějaké SQL s tabulkovými metadaty.

    Pokud má být transparentní nahrazení hodnotou z číselníku tak pro Oracle by mohlo zafungovat něco takového:

    s/@(\w+).(\w+)/(select ID from $1 where txt_id='$2')/g  # @ = označení substituce

    V perlu/ruby by se dalo i případně zkontrolovat zda dotyčná tabulka a záznam existuje a že se do skriptu neinjektujeme nesmyslný kód.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.