abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 15:00 | Nová verze

Byla vydána verze 3.0.0 frameworku pro vývoj multiplatformních desktopových aplikací pomocí HTML, CSS a JavaScriptu Electron (YouTube, GitHub). Electron byl původně vyvíjen pro editor Atom pod názvem Atom Shell. Dnes je na Electronu postavena celá řada dalších aplikací.

Ladislav Hagara | Komentářů: 0
dnes 14:44 | Nová verze

Po půl roce vývoje od vydání verze 6.0.0 byla vydána verze 7.0.0 překladačové infrastruktury LLVM (Wikipedie). Přehled novinek v poznámkách k vydání: LLVM, Clang, clang-tools-extra a LLD.

Ladislav Hagara | Komentářů: 0
dnes 13:44 | Nová verze

Byla vydána verze 3.0.0 knihovny pro vykreslování grafů v programovacím jazyce Python Matplotlib (Wikipedie, GitHub). Přehled novinek a galerie grafů na stránkách projektu. Zrušena byla podpora Pythonu 2.

Ladislav Hagara | Komentářů: 0
dnes 00:22 | Komunita

V Norimberku probíhá do pátku ownCloud conference 2018, tj. konference vývojářů a uživatelů open source systému ownCloud (Wikipedie) umožňujícího provoz vlastního cloudového úložiště. Přednášky lze sledovat online. Videozáznamy jsou k dispozici na YouTube. Při této příležitosti byl vydán ownCloud Server 10.0.10. Z novinek lze zdůraznit podporu PHP 7.2. Vydán byl také ownCloud Desktop Client 2.5.0. Vyzkoušet lze online demo ownCloudu.

Ladislav Hagara | Komentářů: 1
dnes 00:11 | Pozvánky

Zářijový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 20. 9. 2018 od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Tentokrát bez oficiální přednášky, ale zato s dobrým jídlem a pivem – volná diskuse na téma IoT, CNC, svobodný software, hardware a další hračky.

xkucf03 | Komentářů: 0
včera 16:11 | Komunita

Vývojáři relačního databázového systému PostgreSQL oznámili, že schválili svůj Code of Conduct (CoC) aneb kodex chování vývojářů PostgreSQL.

Ladislav Hagara | Komentářů: 16
včera 14:44 | Nová verze

Byla vydána verze 1.0 poštovního serveru Courier (Wikipedie). Aktualizovány byly také související balíčky jako Courier authentication library, Courier-IMAP, SqWebMail, maildrop nebo Cone.

Ladislav Hagara | Komentářů: 0
včera 02:22 | Zajímavý software

Společnost ​Versity Software otevřela svůj archivační souborový systém ScoutFS. Zdrojové kódy jsou k dispozici na GitHubu (kernel space, user space) pod licencí GPLv2.

Ladislav Hagara | Komentářů: 28
včera 00:44 | Nová verze

Byla vydána verze 4.2 programovacího jazyka Swift (Wikipedie). Zdrojové kódy jsou k dispozici na GitHubu. Ke stažení jsou oficiální binární balíčky pro Ubuntu 18.04, Ubuntu 16.04 a Ubuntu 14.04. Přehled novinek ve videozáznamu přednášky z WWDC 2018.

Ladislav Hagara | Komentářů: 6
17.9. 17:55 | Nová verze

Po třech a půl letech od vydání verze 3.4.1 byla vydána nová verze 3.4.2 programu pro filtrování spamu Apache SpamAssassin (Wikipedie). Z novinek lze zmínit 4 nové pluginy. Pravidla budou ověřována pomocí SHA-256 a SHA-512 místo SHA-1. Řešeny jsou také 4 bezpečnostní chyby. Například chyba CVE-2018-11780 v pluginu PDFInfo zneužitelná ke vzdálenému spuštění kódů (RCE).

Ladislav Hagara | Komentářů: 0
Na optické médium (CD, DVD, BD aj.) jsem naposledy vypaloval(a) data před méně než
 (13%)
 (15%)
 (20%)
 (23%)
 (25%)
 (4%)
 (1%)
Celkem 370 hlasů
 Komentářů: 33, poslední 16.9. 11:55
Rozcestník

Dotaz: Optimalizácia selectu s in klauzulou s veľa riadkami

6.9.2016 13:54 Peter
Optimalizácia selectu s in klauzulou s veľa riadkami
Přečteno: 649×
Dobrý deň vám prajem.

Mám tento select, ktorý síce funguje v poriadku, ale keď mám v tabuľke veľa dát, tak sa vykonáva veľmi dlho - momentálne je to cca 1,5 minúty:
select ID from Vydajka
where (
  (IdentifikatorStromu,IdentifikatorRodica) in (select IdentifikatorStromu,max(IdentifikatorRodica) from Vydajka group by IdentifikatorStromu) and
  Ciselnik_StavVyplnovania_ID="5" and
  DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
)
a snažil som sa ho zoptimalizovať pomocou temp tabuľky, len vážne netuším či to je takto dobre (hlavne sa neviem dopracovať k tomu ako sql vlastne interpretuje zdvojený "in")
create temporary table if not exists transfer as (select IdentifikatorStromu as d1,max(IdentifikatorRodica) as d2 from Vydajka group by IdentifikatorStromu);
select ID from Vydajka, transfer
where (
  identifikatorStromu=transfer.d1 and
  identifikatorRodica=transfer.d2 and
  Ciselnik_StavVyplnovania_ID="5" and
  DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
)
Za odpoveď, poprípade iné návrhy na optimalizáciu vám vopred veľmi pekne ďakujem.

Odpovědi

6.9.2016 15:08 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
Zkus místo IN použít JOIN.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
6.9.2016 18:11 Lyco | skóre: 12 | blog: Lyco
Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
dost možná není problém v dotazu ale v indexech.

Pošli nám EXPLAIN původního dotazu, jakou DB používáš, strukturu všech tabulek z dotazu (včetně indexů) a výsledek dotazů
select count(*) from Vydajka;
select count(*) from (select IdentifikatorStromu from Vydajka group by IdentifikatorStromu) t;
select count(*) from Vydajka where Ciselnik_StavVyplnovania_ID="5";
select count(*) from Vydajka DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY);
BTW ta konstrukce

SELECT id FROM t WHERE (x, y) in (SELECT x, MAX(y) FROM t GROUP BY x)

se mi nelíbí, co je její účel? Čím je maximální IdentifikatorRodica významný? To je nějaké hledání ve stromové struktuře? Pokud ano, asi se to rozbije, pokud se někdy záznamy přečíslují.
Příspěvek se rázem stává až o 37,5 % pravdivější, je-li pod ním napsáno reálné jméno.
6.9.2016 22:56 Tomáš
Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami

in operátor je zakuklený join v případě kdy je na pravé straně nějaký výraz nad tabulkou (což máte). A join je relativně nejdražší operace ze všech. Pokud hledáte poslední záznam z každé skupiny IndentifikátorStromu zkuste použít OLAP funkce. Tedy asi takto:

select 
  T.ID
from 
  (
    select
      V.*
      ,rank() over (partition by IndentifikátorStromu order by IdentifikatorRodica desc) as rnk
    from Vydajka V
  ) T
where T.rnk=1 
  and Ciselnik_StavVyplnovania_ID="5" 
  and DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
;

Zavedení temp tabulky má smysl pouze v tom případě, že potřebujete data z ní použít 2x (což není Váš případ). Jinak optimizer si dělá temp tabulky automaticky vnitřně pokud nejdou operace seřadit do pipeline. Libovolná operace hash/merge join, group by,sort vede na vnitřní temp tabulky. Ale naopak nested loop join lze řadit do pipeline stejně jako where/having filtraci s konstantou-

Zkuste si rozmyslet zda by filtrační podmínky na Ciselnik_StavVyplnovania_ID a DatumVydania neměly být ve vnitřním selectu. Mnou uvedený přepis má stejnou sémantiku jako Váš select, ale možná chcete trošku něco jiného.

Pokud používáte mysql/maria/... tak ty, pokud si matně pamatuji, OLAP funkce neuměly. Tam by jste musel sáhnout po kurzoru.

Pokud by jste byl na Oracle tak by šlo použít ještě lepší optimalizaci pomocí konstrukce max(ID) keep (last order by IdentifikatorRodica)

7.9.2016 14:37 vlasta | skóre: 10 | Brno
Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
mozna bych zacal s tim, ze bych vyfiltroval zaznamy uz v tom group by poddotazu a ten nadrazeny bych pouzil jenom pro zjisteni id na zaklade te dvojice identifikatoru, bude mene dat na groupovani a za predpokladu, ze ta dvojice je indexovana, by to melo byt rychlejsi.

Lepsi by samozrejme bylo pouziti nejake rankovani pomoci analyticke funkce, nebo jak umi oracle keep(dense_rank), ale podle konstrukci predpokladam, ze se jedna o mysql a tam to resit pomoci lokalnich promennych s partitioningem bude asi necitelny opruz.
SELECT ID
  FROM Vydajka
 WHERE (IdentifikatorStromu, IdentifikatorRodica) IN (
   SELECT IdentifikatorStromu,
          MAX(IdentifikatorRodica)
     FROM Vydajka 
    WHERE Ciselnik_StavVyplnovania_ID = "5"
      AND DatumVydania <= DATE_ADD(CURDATE(),INTERVAL - 30 DAY)
    GROUP BY IdentifikatorStromu)
7.9.2016 14:50 krocan
Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
To je ovsem zcela jiny dotaz a bude mit jiny vysledek.
7.9.2016 15:30 vlasta | skóre: 10 | Brno
Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
Pravda, trosku jsem se nechal unest jako pentium, bylo by to rychlejsi, ale nejspis blbe, s takovymi vazbami bez analytickych funkci bude asi 1,5 minuty uspech ):
12.9.2016 17:41 kaaja | skóre: 23 | blog: Sem tam něco | Podbořany, Praha
Rozbalit Rozbalit vše Re: Optimalizácia selectu s in klauzulou s veľa riadkami
Problém je samozdřejmě v tom, že select IdentifikatorStromu,max(IdentifikatorRodica) from Vydajka group by IdentifikatorStromu musí projít celou tabulku Vydajka (případně pokud existuje index nad IdentifikatorStromu, IdentifikatorRodica tak projde tenhle index), což je pro něj dost složité.

Klidně je možné, že dotaz upravit moc nepůjde. Pokud není index nad (IdentifikatorStromu, IdentifikatorRodica) asi bych ho zavedl, ale nemusí to být řešení.

Teoreticky by například mohlo být řešení něco takového
select ID from Vydajka v
where 
 Ciselnik_StavVyplnovania_ID="5" and
  DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)
and not exists (
     select 0 from Vydajka vp 
       where vp.IdentifikatorStromu = v.IdentifikatorStromu 
        and vp.IdentifikatorRodica > v.IdentifikatorRodica
)
ale fungovalo by to pouze pokud by podmínky na datum a stav nechali jen málo řádků, pak by se pomocí nestedloopů mohlo jen párkrát zeptat do případného indexu. Pokud se nelíbí not exists mělo by fungovat také toto
select v.ID from Vydajka v
left join Vydajka vp on vp.IdentifikatorStromu = v.IdentifikatorStromu and vp.IdentifikatorRodica > v.IdentifikatorRodica
where vp.ID is null and 
  v.Ciselnik_StavVyplnovania_ID="5" and
  v.DatumVydania<=DATE_ADD(CURDATE(),INTERVAL -30 DAY)

Asi bych také uvažoval o nějakém aplikačním řešení. Je možné, že tabulka Vydajka se plní tak, že by bylo možné si "výsledky" poddotazu někam průběžně ukládat při změně dat. Případně pokud nejsou vždy potřeba zcela aktuální data, tak by bylo možné na poddotaz udělat materializované view s nějakou dobou obnovování a do dotazu připojovat toto view.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.