abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 14:00 | Zajímavý projekt

Byl spuštěn Humble Down Under Bundle. Za vlastní cenu lze koupit multiplatformní hry The Warlock of Firetop Mountain, Screencheat, Hand of Fate a Satellite Reign. Při nadprůměrné platbě (aktuálně 3,63 $) také Hacknet, Hacknet Labyrinths, Crawl a Hurtworld. Při platbě 12 $ a více lze získat navíc Armello.

Ladislav Hagara | Komentářů: 0
dnes 13:00 | Nová verze

Google Chrome 62 byl prohlášen za stabilní (YouTube). Nejnovější stabilní verze 62.0.3202.62 tohoto webového prohlížeče přináší řadu oprav a vylepšení. Vylepšeny byly také nástroje pro vývojáře (YouTube). Opraveno bylo 35 bezpečnostních chyb.

Ladislav Hagara | Komentářů: 1
dnes 11:00 | Zajímavý článek

Článek (en) na Mozilla.cz je věnován vykreslování stránek ve Firefoxu. V průběhu roku 2018 by se ve Firefoxu měl objevit WebRender, jenž by měl vykreslování stránek urychlit díky využití GPU.

Ladislav Hagara | Komentářů: 4
dnes 08:22 | Bezpečnostní upozornění

NÚKIB (Národní úřad pro kybernetickou a informační bezpečnost) informuje o zranitelnosti ROCA v procesu generování RSA klíčů, který se odehrává v softwarové knihovně implementované například v kryptografických čipových kartách, bezpečnostních tokenech a dalších hardwarových čipech vyrobených společností Infineon Technologies AG. Zranitelnost umožňuje praktický faktorizační útok, při kterém útočník dokáže vypočítat

… více »
Ladislav Hagara | Komentářů: 2
dnes 01:23 | Zajímavý software

Příspěvek na blogu otevřené certifikační autority Let's Encrypt informuje o začlenění podpory protokolu ACME (Automatic Certificate Management Environment) přímo do webového serveru Apache. Klienty ACME lze nahradit novým modulem Apache mod_md. Na vývoj tohoto modulu bylo uvolněno 70 tisíc dolarů z programu Mozilla Open Source Support (MOSS). K rozchození HTTPS na Apache stačí nově přidat do konfiguračního souboru řádek s ManagedDomain. Minutový videonávod na YouTube [reddit].

Ladislav Hagara | Komentářů: 1
včera 14:15 | Komunita

Daniel Stenberg, autor nástroje curl, na svém blogu oznámil, že obdržel letošní Polhemovu cenu, kterou uděluje Švédská inženýrská asociace za „technologickou inovaci nebo důvtipné řešení technického problému“.

marbu | Komentářů: 9
včera 13:40 | Pozvánky

Cílem Social Good Hackathonu, který se uskuteční 21. a 22. října v Brně, je vymyslet a zrealizovat projekty, které pomůžou zlepšit svět kolem nás. Je to unikátní příležitost, jak představit nejrůznější sociální projekty a zrealizovat je, propojit aktivní lidi, zástupce a zástupkyně nevládních organizací a lidi z prostředí IT a designu. Hackathon pořádá brněnská neziskovka Nesehnutí.

… více »
Barbora | Komentářů: 1
včera 00:44 | Pozvánky

V sobotu 21. října 2017 se na půdě Elektrotechnické fakulty ČVUT v Praze uskuteční RT-Summit – setkání vývojářů linuxového jádra a uživatelů jeho real-time verze označované jako preempt-rt.

… více »
Pavel Píša | Komentářů: 8
16.10. 23:44 | Bezpečnostní upozornění

V Linuxu byla nalezena bezpečnostní chyba CVE-2017-15265 zneužitelná k lokální eskalaci práv. Jedná se o chybu v části ALSA (Advanced Linux Sound Architecture).

Ladislav Hagara | Komentářů: 1
16.10. 22:44 | Komunita

Greg Kroah-Hartman informuje na svém blogu, že do zdrojových kódu linuxového jádra bylo přidáno (commit) prohlášení Linux Kernel Enforcement Statement. Zdrojové kódy Linuxu jsou k dispozici pod licencí GPL-2.0. Prohlášení přidává ustanovení z GPL-3.0. Cílem je chránit Linux před patentovými trolly, viz například problém s bývalým vedoucím týmu Netfilter Patrickem McHardym. Více v často kladených otázkách (FAQ).

Ladislav Hagara | Komentářů: 4
Jak se vás potenciálně dotkne trend odstraňování analogového audio konektoru typu 3,5mm jack z „chytrých telefonů“?
 (15%)
 (2%)
 (0%)
 (2%)
 (71%)
 (11%)
Celkem 55 hlasů
 Komentářů: 3, poslední dnes 20:46
    Rozcestník

    Dotaz: Optimalizácia selectu s in klauzulou s veľa riadkami

    6.9.2016 13:54 Peter
    Optimalizácia selectu s in klauzulou s veľa riadkami
    Přečteno: 640×
    Dobrý deň vám prajem.

    Mám tento select, ktorý síce funguje v poriadku, ale keď mám v tabuľke veľa dát, tak sa vykonáva veľmi dlho - momentálne je to cca 1,5 minúty:
    select ID from Vydajka
    where (
      (IdentifikatorStromu,IdentifikatorRodica) in (select IdentifikatorStromu,max(IdentifikatorRodica) from Vydajka group by IdentifikatorStromu) and
      Ciselnik_StavVyplnovania_ID="5" and
      DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    )
    
    a snažil som sa ho zoptimalizovať pomocou temp tabuľky, len vážne netuším či to je takto dobre (hlavne sa neviem dopracovať k tomu ako sql vlastne interpretuje zdvojený "in")
    create temporary table if not exists transfer as (select IdentifikatorStromu as d1,max(IdentifikatorRodica) as d2 from Vydajka group by IdentifikatorStromu);
    select ID from Vydajka, transfer
    where (
      identifikatorStromu=transfer.d1 and
      identifikatorRodica=transfer.d2 and
      Ciselnik_StavVyplnovania_ID="5" and
      DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    )
    
    Za odpoveď, poprípade iné návrhy na optimalizáciu vám vopred veľmi pekne ďakujem.

    Odpovědi

    6.9.2016 15:08 Kit | skóre: 38 | Brno
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    Zkus místo IN použít JOIN.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    6.9.2016 18:11 Lyco | skóre: 11 | blog: Lyco
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    dost možná není problém v dotazu ale v indexech.

    Pošli nám EXPLAIN původního dotazu, jakou DB používáš, strukturu všech tabulek z dotazu (včetně indexů) a výsledek dotazů
    select count(*) from Vydajka;
    select count(*) from (select IdentifikatorStromu from Vydajka group by IdentifikatorStromu) t;
    select count(*) from Vydajka where Ciselnik_StavVyplnovania_ID="5";
    select count(*) from Vydajka DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY);
    
    BTW ta konstrukce

    SELECT id FROM t WHERE (x, y) in (SELECT x, MAX(y) FROM t GROUP BY x)

    se mi nelíbí, co je její účel? Čím je maximální IdentifikatorRodica významný? To je nějaké hledání ve stromové struktuře? Pokud ano, asi se to rozbije, pokud se někdy záznamy přečíslují.
    Příspěvek se rázem stává až o 37,5 % pravdivější, je-li pod ním napsáno reálné jméno.
    6.9.2016 22:56 Tomáš
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami

    in operátor je zakuklený join v případě kdy je na pravé straně nějaký výraz nad tabulkou (což máte). A join je relativně nejdražší operace ze všech. Pokud hledáte poslední záznam z každé skupiny IndentifikátorStromu zkuste použít OLAP funkce. Tedy asi takto:

    select 
      T.ID
    from 
      (
        select
          V.*
          ,rank() over (partition by IndentifikátorStromu order by IdentifikatorRodica desc) as rnk
        from Vydajka V
      ) T
    where T.rnk=1 
      and Ciselnik_StavVyplnovania_ID="5" 
      and DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    ;
    

    Zavedení temp tabulky má smysl pouze v tom případě, že potřebujete data z ní použít 2x (což není Váš případ). Jinak optimizer si dělá temp tabulky automaticky vnitřně pokud nejdou operace seřadit do pipeline. Libovolná operace hash/merge join, group by,sort vede na vnitřní temp tabulky. Ale naopak nested loop join lze řadit do pipeline stejně jako where/having filtraci s konstantou-

    Zkuste si rozmyslet zda by filtrační podmínky na Ciselnik_StavVyplnovania_ID a DatumVydania neměly být ve vnitřním selectu. Mnou uvedený přepis má stejnou sémantiku jako Váš select, ale možná chcete trošku něco jiného.

    Pokud používáte mysql/maria/... tak ty, pokud si matně pamatuji, OLAP funkce neuměly. Tam by jste musel sáhnout po kurzoru.

    Pokud by jste byl na Oracle tak by šlo použít ještě lepší optimalizaci pomocí konstrukce max(ID) keep (last order by IdentifikatorRodica)

    7.9.2016 14:37 vlasta | skóre: 10 | Brno
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    mozna bych zacal s tim, ze bych vyfiltroval zaznamy uz v tom group by poddotazu a ten nadrazeny bych pouzil jenom pro zjisteni id na zaklade te dvojice identifikatoru, bude mene dat na groupovani a za predpokladu, ze ta dvojice je indexovana, by to melo byt rychlejsi.

    Lepsi by samozrejme bylo pouziti nejake rankovani pomoci analyticke funkce, nebo jak umi oracle keep(dense_rank), ale podle konstrukci predpokladam, ze se jedna o mysql a tam to resit pomoci lokalnich promennych s partitioningem bude asi necitelny opruz.
    SELECT ID
      FROM Vydajka
     WHERE (IdentifikatorStromu, IdentifikatorRodica) IN (
       SELECT IdentifikatorStromu,
              MAX(IdentifikatorRodica)
         FROM Vydajka 
        WHERE Ciselnik_StavVyplnovania_ID = "5"
          AND DatumVydania <= DATE_ADD(CURDATE(),INTERVAL - 30 DAY)
        GROUP BY IdentifikatorStromu)
    
    7.9.2016 14:50 krocan
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    To je ovsem zcela jiny dotaz a bude mit jiny vysledek.
    7.9.2016 15:30 vlasta | skóre: 10 | Brno
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    Pravda, trosku jsem se nechal unest jako pentium, bylo by to rychlejsi, ale nejspis blbe, s takovymi vazbami bez analytickych funkci bude asi 1,5 minuty uspech ):
    12.9.2016 17:41 kaaja | skóre: 23 | blog: Sem tam něco | Podbořany, Praha
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    Problém je samozdřejmě v tom, že select IdentifikatorStromu,max(IdentifikatorRodica) from Vydajka group by IdentifikatorStromu musí projít celou tabulku Vydajka (případně pokud existuje index nad IdentifikatorStromu, IdentifikatorRodica tak projde tenhle index), což je pro něj dost složité.

    Klidně je možné, že dotaz upravit moc nepůjde. Pokud není index nad (IdentifikatorStromu, IdentifikatorRodica) asi bych ho zavedl, ale nemusí to být řešení.

    Teoreticky by například mohlo být řešení něco takového
    select ID from Vydajka v
    where 
     Ciselnik_StavVyplnovania_ID="5" and
      DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    and not exists (
         select 0 from Vydajka vp 
           where vp.IdentifikatorStromu = v.IdentifikatorStromu 
            and vp.IdentifikatorRodica > v.IdentifikatorRodica
    )
    
    ale fungovalo by to pouze pokud by podmínky na datum a stav nechali jen málo řádků, pak by se pomocí nestedloopů mohlo jen párkrát zeptat do případného indexu. Pokud se nelíbí not exists mělo by fungovat také toto
    select v.ID from Vydajka v
    left join Vydajka vp on vp.IdentifikatorStromu = v.IdentifikatorStromu and vp.IdentifikatorRodica > v.IdentifikatorRodica
    where vp.ID is null and 
      v.Ciselnik_StavVyplnovania_ID="5" and
      v.DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    

    Asi bych také uvažoval o nějakém aplikačním řešení. Je možné, že tabulka Vydajka se plní tak, že by bylo možné si "výsledky" poddotazu někam průběžně ukládat při změně dat. Případně pokud nejsou vždy potřeba zcela aktuální data, tak by bylo možné na poddotaz udělat materializované view s nějakou dobou obnovování a do dotazu připojovat toto view.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.