abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 01:11 | Nová verze

Byla vydána nová major verze 3.0 svobodného multiplatformního geografického informačního systému QGIS (Wikipedie). Její kódové jméno je Girona, dle názvu města, ve kterém proběhlo 15. setkání vývojářů QGISu. Přehled novinek i s náhledy a animacemi v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
včera 20:33 | Zajímavý článek

Nadace Raspberry Pi vydala sedmašedesáté číslo (pdf) anglicky psaného časopisu MagPi věnovanému Raspberry Pi a projektům postaveným na tomto jednodeskovém počítači a čtvrté číslo (pdf) časopisu pro kutily HackSpace věnovanému navíc 3D tisku, pájení, řezání nebo i elektronice a IoT.

Ladislav Hagara | Komentářů: 0
včera 18:33 | Komunita

Morevna Project, který stojí za řadou svobodného softwaru pro animátory (např. Synfig Studio, RenderChan nebo Papagayo-NG) a svobodnými (CC-BY-SA) animovanými filmy/komiksy Morevna (3. díl) a Pepper&Carrot: The Potion Contest (6. díl), sbírá do 1. března příspěvky na 4. díl svého animovaného filmu Morevna. Mezi odměnami přispěvatelům lze najít např. i videokurzy animace v Synfigu či Blenderu.

xHire | Komentářů: 0
včera 12:22 | Bezpečnostní upozornění

Ve středu vydaná "npm@next" verze 5.7.0 správce balíčků pro JavaScript npm (Wikipedie, Node Package Manager) přinesla řadě uživatelů Linuxu nečekanou nepříjemnost. V závislosti na způsobu instalace a ve spojení s příkazem sudo mohlo dojít ke změně vlastníka u systémových souborů, také například /. Chyba je opravena v před několika hodinami vydané verzi npm 5.7.1 [reddit].

Ladislav Hagara | Komentářů: 8
včera 10:00 | Nová verze

Byla vydána verze 10.5 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab (Wikipedie). Představení nových vlastností v příspěvku na blogu. Zdůraznit lze integrovanou podporu Let's Encrypt.

Ladislav Hagara | Komentářů: 0
22.2. 12:33 | Komunita

Příspěvek na blogu Signalu (Wikipedie) informuje o založení neziskové nadace Signal Foundation, jež bude zastřešovat další vývoj tohoto svobodného bezpečného komunikátoru běžícího také na Linuxu (Signal Desktop). Brian Acton, spoluzakladatel WhatsAppu, věnoval nadaci 50 milionů dolarů [Hacker News].

Ladislav Hagara | Komentářů: 1
22.2. 05:55 | Zajímavý článek

Článek na Fedora Magazine krátce představuje programovací jazyk Rust a několik zajímavých v Rustu naprogramovaných terminálových aplikací. Jedná se o alternativu k příkazu grep ripgrep, moderní barevnou alternativu k příkazu ls exa, příkazem cloc inspirovaný tokei a zvířátko v terminálu ternimal.

Ladislav Hagara | Komentářů: 0
21.2. 23:55 | Zajímavý projekt

Byl spuštěn Humble Classics Return Bundle. Za vlastní cenu lze koupit hry Broken Sword 5 - The Serpent's Curse, Shadowrun Returns a Shadowrun: Dragonfall - Director's Cut. Při nadprůměrné platbě (aktuálně 8,48 $) také Shadowrun: Hong Kong - Extended Edition, Wasteland 2: Director's Cut - Standard Edition, Age of Wonders III a Xenonauts. Při platbě 15 $ a více lze získat navíc Torment: Tides of Numenera a Dreamfall Chapters: The Final Cut Edition.

Ladislav Hagara | Komentářů: 0
21.2. 00:11 | Bezpečnostní upozornění

Vývojáři linuxové distribuce Mageia na svém blogu upozorňují na narušení bezpečnosti Mageia Identity. Narušitel získal přístup k LDAP databázi a zveřejnil jména uživatelů, jejich emailové adresy a haše hesel. Hesla uživatelů byla resetována.

Ladislav Hagara | Komentářů: 3
20.2. 21:55 | Nová verze

Byla vydána verze 2.0.0 nástroje pro záznam a sdílení terminálových sezení asciinema (GitHub). Z novinek je nutno upozornit na nový zpětně nekompatibilní formát záznamu asciicast v2. S novým formátem si poradí nové verze asciinema-playeru a asciinema-serveru [Hacker News].

Ladislav Hagara | Komentářů: 0
Který webový vyhledávač používáte nejčastěji?
 (2%)
 (28%)
 (62%)
 (3%)
 (3%)
 (0%)
 (1%)
 (1%)
Celkem 439 hlasů
 Komentářů: 35, poslední 21.2. 19:51
    Rozcestník

    Dotaz: Optimalizácia selectu s in klauzulou s veľa riadkami

    6.9.2016 13:54 Peter
    Optimalizácia selectu s in klauzulou s veľa riadkami
    Přečteno: 646×
    Dobrý deň vám prajem.

    Mám tento select, ktorý síce funguje v poriadku, ale keď mám v tabuľke veľa dát, tak sa vykonáva veľmi dlho - momentálne je to cca 1,5 minúty:
    select ID from Vydajka
    where (
      (IdentifikatorStromu,IdentifikatorRodica) in (select IdentifikatorStromu,max(IdentifikatorRodica) from Vydajka group by IdentifikatorStromu) and
      Ciselnik_StavVyplnovania_ID="5" and
      DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    )
    
    a snažil som sa ho zoptimalizovať pomocou temp tabuľky, len vážne netuším či to je takto dobre (hlavne sa neviem dopracovať k tomu ako sql vlastne interpretuje zdvojený "in")
    create temporary table if not exists transfer as (select IdentifikatorStromu as d1,max(IdentifikatorRodica) as d2 from Vydajka group by IdentifikatorStromu);
    select ID from Vydajka, transfer
    where (
      identifikatorStromu=transfer.d1 and
      identifikatorRodica=transfer.d2 and
      Ciselnik_StavVyplnovania_ID="5" and
      DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    )
    
    Za odpoveď, poprípade iné návrhy na optimalizáciu vám vopred veľmi pekne ďakujem.

    Odpovědi

    6.9.2016 15:08 Kit | skóre: 40 | Brno
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    Zkus místo IN použít JOIN.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    6.9.2016 18:11 Lyco | skóre: 11 | blog: Lyco
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    dost možná není problém v dotazu ale v indexech.

    Pošli nám EXPLAIN původního dotazu, jakou DB používáš, strukturu všech tabulek z dotazu (včetně indexů) a výsledek dotazů
    select count(*) from Vydajka;
    select count(*) from (select IdentifikatorStromu from Vydajka group by IdentifikatorStromu) t;
    select count(*) from Vydajka where Ciselnik_StavVyplnovania_ID="5";
    select count(*) from Vydajka DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY);
    
    BTW ta konstrukce

    SELECT id FROM t WHERE (x, y) in (SELECT x, MAX(y) FROM t GROUP BY x)

    se mi nelíbí, co je její účel? Čím je maximální IdentifikatorRodica významný? To je nějaké hledání ve stromové struktuře? Pokud ano, asi se to rozbije, pokud se někdy záznamy přečíslují.
    Příspěvek se rázem stává až o 37,5 % pravdivější, je-li pod ním napsáno reálné jméno.
    6.9.2016 22:56 Tomáš
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami

    in operátor je zakuklený join v případě kdy je na pravé straně nějaký výraz nad tabulkou (což máte). A join je relativně nejdražší operace ze všech. Pokud hledáte poslední záznam z každé skupiny IndentifikátorStromu zkuste použít OLAP funkce. Tedy asi takto:

    select 
      T.ID
    from 
      (
        select
          V.*
          ,rank() over (partition by IndentifikátorStromu order by IdentifikatorRodica desc) as rnk
        from Vydajka V
      ) T
    where T.rnk=1 
      and Ciselnik_StavVyplnovania_ID="5" 
      and DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    ;
    

    Zavedení temp tabulky má smysl pouze v tom případě, že potřebujete data z ní použít 2x (což není Váš případ). Jinak optimizer si dělá temp tabulky automaticky vnitřně pokud nejdou operace seřadit do pipeline. Libovolná operace hash/merge join, group by,sort vede na vnitřní temp tabulky. Ale naopak nested loop join lze řadit do pipeline stejně jako where/having filtraci s konstantou-

    Zkuste si rozmyslet zda by filtrační podmínky na Ciselnik_StavVyplnovania_ID a DatumVydania neměly být ve vnitřním selectu. Mnou uvedený přepis má stejnou sémantiku jako Váš select, ale možná chcete trošku něco jiného.

    Pokud používáte mysql/maria/... tak ty, pokud si matně pamatuji, OLAP funkce neuměly. Tam by jste musel sáhnout po kurzoru.

    Pokud by jste byl na Oracle tak by šlo použít ještě lepší optimalizaci pomocí konstrukce max(ID) keep (last order by IdentifikatorRodica)

    7.9.2016 14:37 vlasta | skóre: 10 | Brno
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    mozna bych zacal s tim, ze bych vyfiltroval zaznamy uz v tom group by poddotazu a ten nadrazeny bych pouzil jenom pro zjisteni id na zaklade te dvojice identifikatoru, bude mene dat na groupovani a za predpokladu, ze ta dvojice je indexovana, by to melo byt rychlejsi.

    Lepsi by samozrejme bylo pouziti nejake rankovani pomoci analyticke funkce, nebo jak umi oracle keep(dense_rank), ale podle konstrukci predpokladam, ze se jedna o mysql a tam to resit pomoci lokalnich promennych s partitioningem bude asi necitelny opruz.
    SELECT ID
      FROM Vydajka
     WHERE (IdentifikatorStromu, IdentifikatorRodica) IN (
       SELECT IdentifikatorStromu,
              MAX(IdentifikatorRodica)
         FROM Vydajka 
        WHERE Ciselnik_StavVyplnovania_ID = "5"
          AND DatumVydania <= DATE_ADD(CURDATE(),INTERVAL - 30 DAY)
        GROUP BY IdentifikatorStromu)
    
    7.9.2016 14:50 krocan
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    To je ovsem zcela jiny dotaz a bude mit jiny vysledek.
    7.9.2016 15:30 vlasta | skóre: 10 | Brno
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    Pravda, trosku jsem se nechal unest jako pentium, bylo by to rychlejsi, ale nejspis blbe, s takovymi vazbami bez analytickych funkci bude asi 1,5 minuty uspech ):
    12.9.2016 17:41 kaaja | skóre: 23 | blog: Sem tam něco | Podbořany, Praha
    Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
    Problém je samozdřejmě v tom, že select IdentifikatorStromu,max(IdentifikatorRodica) from Vydajka group by IdentifikatorStromu musí projít celou tabulku Vydajka (případně pokud existuje index nad IdentifikatorStromu, IdentifikatorRodica tak projde tenhle index), což je pro něj dost složité.

    Klidně je možné, že dotaz upravit moc nepůjde. Pokud není index nad (IdentifikatorStromu, IdentifikatorRodica) asi bych ho zavedl, ale nemusí to být řešení.

    Teoreticky by například mohlo být řešení něco takového
    select ID from Vydajka v
    where 
     Ciselnik_StavVyplnovania_ID="5" and
      DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    and not exists (
         select 0 from Vydajka vp 
           where vp.IdentifikatorStromu = v.IdentifikatorStromu 
            and vp.IdentifikatorRodica > v.IdentifikatorRodica
    )
    
    ale fungovalo by to pouze pokud by podmínky na datum a stav nechali jen málo řádků, pak by se pomocí nestedloopů mohlo jen párkrát zeptat do případného indexu. Pokud se nelíbí not exists mělo by fungovat také toto
    select v.ID from Vydajka v
    left join Vydajka vp on vp.IdentifikatorStromu = v.IdentifikatorStromu and vp.IdentifikatorRodica > v.IdentifikatorRodica
    where vp.ID is null and 
      v.Ciselnik_StavVyplnovania_ID="5" and
      v.DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
    

    Asi bych také uvažoval o nějakém aplikačním řešení. Je možné, že tabulka Vydajka se plní tak, že by bylo možné si "výsledky" poddotazu někam průběžně ukládat při změně dat. Případně pokud nejsou vždy potřeba zcela aktuální data, tak by bylo možné na poddotaz udělat materializované view s nějakou dobou obnovování a do dotazu připojovat toto view.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.