abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
15.6. 22:44 | Zajímavý článek

Na blogu projektu NeoPG (GitHub), kryptografického softwaru vycházejícího z GnuPG, byly zveřejněny 4 příspěvky detailně popisující aktuální bezpečnostní problémy v GnuPG a souvisejících softwarových produktech. V prvním příspěvku je ukázáno, že je možné vytvořit zprávu, o které budou Earlybird, Evolution, Mutt nebo Outlook tvrdit, že jí dešifrovali a přitom ale zpráva vůbec zašifrována nebyla. V druhém příspěvku je popsána

… více »
Ladislav Hagara | Komentářů: 5
15.6. 13:00 | Komunita

GamingOnLinux informuje, že počítačová hra Track Mania Nations Forever (Steam, Wikipedie) pro Windows je nově dostupná také jako snap. Stejně jako v případě winepaku a Flatpaku se k běhu hry používá překladová vrstva Wine.

Ladislav Hagara | Komentářů: 12
14.6. 15:12 | Komunita

Tradiční setkání příznivců operačního systému Linux pod názvem Linux párty Teplice se bude konat v pátek 15. 6. 2018 v Hospůdce u černé Kočky od 18:00 hodin. Setkají se zde pamětníci příkazové řádky, vítáni jsou však i začínající uživatelé.

František Bublík | Komentářů: 16
14.6. 14:00 | Bezpečnostní upozornění

Intel potvrdil (INTEL-SA-00145) další bezpečnostní chybu ve svých procesorech. Jedná se o chybu CVE-2018-3665 s názvem LazyFP.

Ladislav Hagara | Komentářů: 12
14.6. 11:00 | Nová verze

Spolek OpenAlt zve příznivce otevřených řešení a přístupu na 153. brněnský sraz, který proběhne v pátek 15. června od 18:00 v restauraci U OSLŮ na ulici Sokolská 361/10. Pro zájemce proběhne krátké promítání z výletu do Černobylu.

Ladislav Hagara | Komentářů: 0
13.6. 19:58 | Upozornění

Server lupa.cz rozebírá připravovanou reformu copyrightu v EU a dopad jejího článku 13, který dává internetovým platformám povinnost řešit autorské právo za vlastníky práv, což by v podstatě vedlo k automatizované cenzuře a konci internetu tak, jak ho známe dnes. Podobně v otevřeném dopise varují Vint Cerf, Tim Berners-Lee a jiní odborníci, Cory Doctorow upozorňuje na důsledky pro Wikipedii, nebo github na sdílení kódu.

marbu | Komentářů: 93
12.6. 16:00 | Nová verze

Bylo oznámeno vydání verze 5.13 prostředí KDE Plasma. Přehled nových vlastností i s náhledy v poznámkách k vydání. Videoukázka na YouTube.

Ladislav Hagara | Komentářů: 93
12.6. 11:11 | Zajímavý software

Byla vydána verze 1.8.0 svobodného softwaru Dilay pro 3D modelování technikou digitálního sochání (digital sculpting). Zdrojové kódy jsou k dispozici na GitHubu pod licencí GPLv3. K dispozici je balíček (19,6 MB) ve formátu AppImage. Stačí nastavit právo na spouštění a spustit.

Ladislav Hagara | Komentářů: 10
11.6. 16:55 | Zajímavý projekt

MojeFedora.cz představuje repozitář Flatpaku winepak, který si dává za cíl přinášet do Linuxu aplikace pro Windows v podobě Flatpaku. K běhu aplikací se používá překladová vrstva Wine.

Ladislav Hagara | Komentářů: 28
11.6. 16:33 | Komunita

V rámci letních slev na GOG.com lze do středy 13. června do 15:00 získat počítačovou hru Ziggurat (Wikipedie) běžící také na Linuxu zdarma a bez DRM.

Ladislav Hagara | Komentářů: 0
Jak čtete delší texty z webových stránek?
 (78%)
 (22%)
 (4%)
 (7%)
 (3%)
 (11%)
Celkem 196 hlasů
 Komentářů: 33, poslední včera 23:59
    Rozcestník

    Dotaz: Optimalizácia selectu s in klauzulou s veľa riadkami

    6.9.2016 13:54 Peter
    Optimalizácia selectu s in klauzulou s veľa riadkami
    Přečteno: 648×
    Dobrý deň vám prajem.

    Mám tento select, ktorý síce funguje v poriadku, ale keď mám v tabuľke veľa dát, tak sa vykonáva veľmi dlho - momentálne je to cca 1,5 minúty:
    select ID from Vydajka
    where (
      (IdentifikatorStromu,IdentifikatorRodica) in (select IdentifikatorStromu,max(IdentifikatorRodica) from Vydajka group by IdentifikatorStromu) and
      Ciselnik_StavVyplnovania_ID="5" and
      DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    )
    
    a snažil som sa ho zoptimalizovať pomocou temp tabuľky, len vážne netuším či to je takto dobre (hlavne sa neviem dopracovať k tomu ako sql vlastne interpretuje zdvojený "in")
    create temporary table if not exists transfer as (select IdentifikatorStromu as d1,max(IdentifikatorRodica) as d2 from Vydajka group by IdentifikatorStromu);
    select ID from Vydajka, transfer
    where (
      identifikatorStromu=transfer.d1 and
      identifikatorRodica=transfer.d2 and
      Ciselnik_StavVyplnovania_ID="5" and
      DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    )
    
    Za odpoveď, poprípade iné návrhy na optimalizáciu vám vopred veľmi pekne ďakujem.

    Odpovědi

    6.9.2016 15:08 Kit | skóre: 41 | Brno
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    Zkus místo IN použít JOIN.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    6.9.2016 18:11 Lyco | skóre: 12 | blog: Lyco
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    dost možná není problém v dotazu ale v indexech.

    Pošli nám EXPLAIN původního dotazu, jakou DB používáš, strukturu všech tabulek z dotazu (včetně indexů) a výsledek dotazů
    select count(*) from Vydajka;
    select count(*) from (select IdentifikatorStromu from Vydajka group by IdentifikatorStromu) t;
    select count(*) from Vydajka where Ciselnik_StavVyplnovania_ID="5";
    select count(*) from Vydajka DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY);
    
    BTW ta konstrukce

    SELECT id FROM t WHERE (x, y) in (SELECT x, MAX(y) FROM t GROUP BY x)

    se mi nelíbí, co je její účel? Čím je maximální IdentifikatorRodica významný? To je nějaké hledání ve stromové struktuře? Pokud ano, asi se to rozbije, pokud se někdy záznamy přečíslují.
    Příspěvek se rázem stává až o 37,5 % pravdivější, je-li pod ním napsáno reálné jméno.
    6.9.2016 22:56 Tomáš
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami

    in operátor je zakuklený join v případě kdy je na pravé straně nějaký výraz nad tabulkou (což máte). A join je relativně nejdražší operace ze všech. Pokud hledáte poslední záznam z každé skupiny IndentifikátorStromu zkuste použít OLAP funkce. Tedy asi takto:

    select 
      T.ID
    from 
      (
        select
          V.*
          ,rank() over (partition by IndentifikátorStromu order by IdentifikatorRodica desc) as rnk
        from Vydajka V
      ) T
    where T.rnk=1 
      and Ciselnik_StavVyplnovania_ID="5" 
      and DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    ;
    

    Zavedení temp tabulky má smysl pouze v tom případě, že potřebujete data z ní použít 2x (což není Váš případ). Jinak optimizer si dělá temp tabulky automaticky vnitřně pokud nejdou operace seřadit do pipeline. Libovolná operace hash/merge join, group by,sort vede na vnitřní temp tabulky. Ale naopak nested loop join lze řadit do pipeline stejně jako where/having filtraci s konstantou-

    Zkuste si rozmyslet zda by filtrační podmínky na Ciselnik_StavVyplnovania_ID a DatumVydania neměly být ve vnitřním selectu. Mnou uvedený přepis má stejnou sémantiku jako Váš select, ale možná chcete trošku něco jiného.

    Pokud používáte mysql/maria/... tak ty, pokud si matně pamatuji, OLAP funkce neuměly. Tam by jste musel sáhnout po kurzoru.

    Pokud by jste byl na Oracle tak by šlo použít ještě lepší optimalizaci pomocí konstrukce max(ID) keep (last order by IdentifikatorRodica)

    7.9.2016 14:37 vlasta | skóre: 10 | Brno
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    mozna bych zacal s tim, ze bych vyfiltroval zaznamy uz v tom group by poddotazu a ten nadrazeny bych pouzil jenom pro zjisteni id na zaklade te dvojice identifikatoru, bude mene dat na groupovani a za predpokladu, ze ta dvojice je indexovana, by to melo byt rychlejsi.

    Lepsi by samozrejme bylo pouziti nejake rankovani pomoci analyticke funkce, nebo jak umi oracle keep(dense_rank), ale podle konstrukci predpokladam, ze se jedna o mysql a tam to resit pomoci lokalnich promennych s partitioningem bude asi necitelny opruz.
    SELECT ID
      FROM Vydajka
     WHERE (IdentifikatorStromu, IdentifikatorRodica) IN (
       SELECT IdentifikatorStromu,
              MAX(IdentifikatorRodica)
         FROM Vydajka 
        WHERE Ciselnik_StavVyplnovania_ID = "5"
          AND DatumVydania <= DATE_ADD(CURDATE(),INTERVAL - 30 DAY)
        GROUP BY IdentifikatorStromu)
    
    7.9.2016 14:50 krocan
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    To je ovsem zcela jiny dotaz a bude mit jiny vysledek.
    7.9.2016 15:30 vlasta | skóre: 10 | Brno
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    Pravda, trosku jsem se nechal unest jako pentium, bylo by to rychlejsi, ale nejspis blbe, s takovymi vazbami bez analytickych funkci bude asi 1,5 minuty uspech ):
    12.9.2016 17:41 kaaja | skóre: 23 | blog: Sem tam něco | Podbořany, Praha
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    Problém je samozdřejmě v tom, že select IdentifikatorStromu,max(IdentifikatorRodica) from Vydajka group by IdentifikatorStromu musí projít celou tabulku Vydajka (případně pokud existuje index nad IdentifikatorStromu, IdentifikatorRodica tak projde tenhle index), což je pro něj dost složité.

    Klidně je možné, že dotaz upravit moc nepůjde. Pokud není index nad (IdentifikatorStromu, IdentifikatorRodica) asi bych ho zavedl, ale nemusí to být řešení.

    Teoreticky by například mohlo být řešení něco takového
    select ID from Vydajka v
    where 
     Ciselnik_StavVyplnovania_ID="5" and
      DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    and not exists (
         select 0 from Vydajka vp 
           where vp.IdentifikatorStromu = v.IdentifikatorStromu 
            and vp.IdentifikatorRodica > v.IdentifikatorRodica
    )
    
    ale fungovalo by to pouze pokud by podmínky na datum a stav nechali jen málo řádků, pak by se pomocí nestedloopů mohlo jen párkrát zeptat do případného indexu. Pokud se nelíbí not exists mělo by fungovat také toto
    select v.ID from Vydajka v
    left join Vydajka vp on vp.IdentifikatorStromu = v.IdentifikatorStromu and vp.IdentifikatorRodica > v.IdentifikatorRodica
    where vp.ID is null and 
      v.Ciselnik_StavVyplnovania_ID="5" and
      v.DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    

    Asi bych také uvažoval o nějakém aplikačním řešení. Je možné, že tabulka Vydajka se plní tak, že by bylo možné si "výsledky" poddotazu někam průběžně ukládat při změně dat. Případně pokud nejsou vždy potřeba zcela aktuální data, tak by bylo možné na poddotaz udělat materializované view s nějakou dobou obnovování a do dotazu připojovat toto view.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.