abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 22:55 | Bezpečnostní upozornění

Byl vydán Git ve verzích 2.24.1, 2.23.1, 2.22.2, 2.21.1, 2.20.2, 2.19.3, 2.18.2, 2.17.3, 2.16.6, 2.15.4 a 2.14.6. Opraveno je 9 bezpečnostních chyb: CVE-2019-1348, CVE-2019-1349, CVE-2019-1350, CVE-2019-1351, CVE-2019-1352, CVE-2019-1353, CVE-2019-1354, CVE-2019-1387 a CVE-2019-19604, viz například Ubuntu USN-4220-1.

Ladislav Hagara | Komentářů: 0
včera 22:33 | Nová verze

Google Chrome 79 byl prohlášen za stabilní (YouTube). Nejnovější stabilní verze 79.0.3945.79 tohoto webového prohlížeče přináší řadu oprav a vylepšení. Vylepšeny byly také nástroje pro vývojáře. Opraveno bylo 51 bezpečnostních chyb. Za nalezení nejvážnější z nich bylo vyplaceno 20 tisíc dolarů.

Ladislav Hagara | Komentářů: 0
včera 22:11 | Nová verze

V září Microsoft potvrdil, že portuje klienta Microsoft Teams na Linux. Dnes byla vydána první veřejná verze k testování. Ke stažení jsou balíčky .deb a .rpm. Microsoft Teams je firemní platforma, která umožňuje textovou komunikaci, video hovory, datové úložiště pro ukládání souborů (na těchto souborech lze také spolupracovat) a integraci dalších aplikací do tohoto prostředí. Služba je integrována v předplatném Office 365.

Ladislav Hagara | Komentářů: 0
včera 15:22 | IT novinky

Společnost PFU (divize Fujitsu) představila (prezentace v japonštině) novou generaci Happy Hacking Keyboard, řady klávesnic původně navržené Eiiči Wadou pro unixové systémy začátkem 90. let – bez nutnosti přidání dalších fyzických kláves. Nové modely (Hybrid, Hybrid Type-S a Classic) navazují na řadu Pro 2, stále je tedy vyrábí Topre a používají příslušné kapacitní spínače, všechny se ale nově připojují přes USB-C a „Hybrid“ navíc podporuje i Bluetooth.

Fluttershy, yay! | Komentářů: 11
včera 12:22 | Pozvánky

Konference DevConf.CZ 2020, již dvanáctý ročník jedné z největších akcí zaměřených na Linux a open source ve střední Evropě, proběhne v Brně na FIT VUT od 24. do 26. ledna 2020. Zveřejněn byl program konference a spuštěna byla povinná a bezplatná registrace.

Ladislav Hagara | Komentářů: 0
9.12. 22:55 | Zajímavý článek

Příspěvek Prozkoumejte Česko na Wikidatech: druhý díl zajímavých Wikidata Queries na blogu Wikimedie Česká republika je volným pokračováním příspěvku Prozkoumejte Česko na Wikidatech: 10 nejlepších Queries datového žurnalisty z července 2017. Tentokrát jsou díky Wikidatům a SPARQL zobrazeny Železniční tratě v Česku, Díly pořadu Gebrian VS na mapě nebo Citace vědeckých článků – srovnání českých univerzit, na níž publikující autoři působí.

Ladislav Hagara | Komentářů: 0
9.12. 19:44 | Komunita

Ovlivnit Ubuntu 20.04 LTS lze vyplněním dotazníku. Více v příspěvku na blogu Ubuntu.

Ladislav Hagara | Komentářů: 0
9.12. 12:33 | Zajímavý článek

Na stránkách české komunity Fedory vyšel zajímavý článek o tom, jak se generují flatpakové balíčky z již existujících balíčků RPM.

KOLEGA | Komentářů: 7
9.12. 12:22 | Zajímavý článek

Donald Ervin Knuth, přední informatik a emeritní profesor na Stanfordově univerzitě, rozšířil svou mnohasvazkovou odbornou monografii The Art of Computer Programming (TAOCP), v českém překladu Umění programování, o Volume 4, Fascicle 5. Donald Knuth svou novou knihu představil ve své přednášce Pi and The Art of Computer Programming.

Ladislav Hagara | Komentářů: 37
8.12. 11:44 | Zajímavý článek

Arsenij Zinčenko v zápisku sdílí technické poznámky o tom, co je to „klíčenka“ (keyring) v Linuxu a v desktopovém prostředí, jak to souvisí se Secret Service a D-Bus, včetně příkladů. Význam těchto služeb spočívá v uložení a následném poskytování autentizačních údajů.

Fluttershy, yay! | Komentářů: 0
Jaké hodinky nosíte (nejčastěji)?
 (23%)
 (6%)
 (17%)
 (54%)
Celkem 544 hlasů
 Komentářů: 135, poslední 6.12. 20:54
Rozcestník

www.AutoDoc.Cz

Dotaz: Mysql dotaz vezme 100% vykonu SQL serveru

30.7. 10:16 RadekXxX | skóre: 7
Mysql dotaz vezme 100% vykonu SQL serveru
Přečteno: 731×
Ahoj, mam SQL dotaz:

SELECT HwTime, Person_Id, Description, Direction FROM Events WHERE (System = "0") AND (Direction <> "2") AND (Exist = "1") AND (HwTime IN(SELECT MAX(HwTime) FROM Events WHERE (Exist = "1") AND (Direction <> "2") AND (System = "0") GROUP BY Person_Id)) ORDER BY Name ASC

kdyz ho spustim, tak se muze provadet treba hodinu, "show processlist" ukazuje status "Sending data", tabulka obsahuje asi 50000 zaznamu a vysledek ma asi 1300 radku, tento sql dotaz funguje na desitkach serveru, kdyz udelam dump databaze, vezmu konfiguracni soubor databaze a testuji na jinem mysql nebo mariadb serveru tak mam kompletni odpoved za 0.3 sec, ale na tomto serveru se odpovedi nedockam, kdyz pridam LIMIT 1, tak odpoved trva asi 2 sec, kdyz zvedam LIMIT, tak me prijde, ze delka odpovedi se zveda temer exponencialne.

SQL dotaz ma z tabulky vypsat jedenkrat kazde Person_Id, ktere ma nejaktualneji hodnotu HwTime.

Zajimalo by me, jak dotaz polozit jinak, aby fungoval, ale soucasne take proc nefunguje jenom na jednom konkretnim serveru.

Odpovědi

30.7. 12:23 Lyco | skóre: 13 | blog: Lyco
Rozbalit Rozbalit vše Re: Mysql dotaz vezme 100% vykonu SQL serveru
Jaký je EXPLAIN? Jaký je na ostatních serverech? Jaký je použitý storage engine? Je na tom serveru nějaká další zátěž? Jaká?
Příspěvek se rázem stává až o 37,5 % pravdivější, je-li pod ním napsáno reálné jméno.
30.7. 15:16 RadekXxX | skóre: 7
Rozbalit Rozbalit vše Re: Mysql dotaz vezme 100% vykonu SQL serveru
Explain vraci toto:
+----+--------------------+--------+-------+---------------+------+---------+------+-------+-----------------------------+
| id | select_type        | table  | type  | possible_keys | key  | key_len | ref  | rows  | Extra                       |
+----+--------------------+--------+-------+---------------+------+---------+------+-------+-----------------------------+
|  1 | PRIMARY            | Events | ALL   | NULL          | NULL | NULL    | NULL | 54216 | Using where; Using filesort |
|  2 | DEPENDENT SUBQUERY | Events | index | NULL          | ESD  | 19      | NULL |  7015 | Using where                 |
+----+--------------------+--------+-------+---------------+------+---------+------+-------+-----------------------------+
Na serveru (ktery je vyrazne mene vykonejsi), kde se dotaz vykonava bez problemu je explain:
+------+--------------+-------------+--------+---------------+--------------+---------+----------------------------+-------+------------------------------+
| id   | select_type  | table       | type   | possible_keys | key          | key_len | ref                        | rows  | Extra                        |
+------+--------------+-------------+--------+---------------+--------------+---------+----------------------------+-------+------------------------------+
|    1 | PRIMARY      | Events      | ALL    | HwTime        | NULL         | NULL    | NULL                       | 52579 | Using where; Using filesort  |
|    1 | PRIMARY      | subquery2   | eq_ref | distinct_key  | distinct_key | 5       | Events.HwTime              |     1 |                              |
|    2 | MATERIALIZED | Events      | ALL    | NULL          | NULL         | NULL    | NULL                       | 52579 | Using where; Using temporary |
+------+--------------+-------------+--------+---------------+--------------+---------+----------------------------+-------+------------------------------+
Na serveru bezi pouze MySQL, pokud se nespusti tento dotaz, tak je zatizeni do 2%, po spusteni stoupne zatizeni na 50% a pri spusteni dvou techto pozadavku je to 100%, pameti je volne vice jak 3GB. Storage je InnoDB, pred tim byl pouzit MyISAM, ale ten pri spusteni scriptu mel zase ve vypisu procesu "waiting for table level lock"
30.7. 19:30 Filip Jirsák | skóre: 67 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Mysql dotaz vezme 100% vykonu SQL serveru
Můžete tam mít jiné indexy, mohou jinak vycházet statistiky, podle kterých se plánuje použití indexů. Může tam být jiná verze databázového stroje, která prostě na základě stejných vstupů zvolí jiný prováděcí plán. Zkusil bych zkontrolovat indexy, zda jsou stejné a zda s nimi není nějaký problém, a nechal bych přepočítat statistiky.
30.7. 22:12 RadekXxX | skóre: 7
Rozbalit Rozbalit vše Re: Mysql dotaz vezme 100% vykonu SQL serveru
Problemovy server obsahuje standartni balik z Debianu, mysql v5.5.62,

bezene se provozuje server na Win. v5.6.11 (tam to chodi)

navic jsem testoval MariaDb v10.1.38 v Debianu (taky chodi)

navic mysql v5.5.33 v Debianu (taky chodi), tato verze db je nejstarsi

Indexy jsou definovany stejne, udelal jsem mysqldump konkretni databaze, ty indexy jsou i vtom dumpu videt.

Kazdopadne reseni to ma, jak jsem psal nize, zmena SQL dotazu, jenom me zajimalo, jak muze vzniknout takovy rozdil 0,5sec vs. nekolik hodin u identickych dat akorat jiny stroj.
31.7. 07:56 Filip Jirsák | skóre: 67 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Mysql dotaz vezme 100% vykonu SQL serveru
Příčina, proč je to tak rozdílné, jsou ty rozdílné prováděcí plány. Některé důvody, proč se mohou prováděcí plány lišit, jsem napsal v předchozím komentáři.
31.7. 07:56 Peter Golis | skóre: 59 | blog: Bežné záležitosti | Bratislava
Rozbalit Rozbalit vše Re: Mysql dotaz vezme 100% vykonu SQL serveru
Dosť často sa také niečo stávalo ak chýbali indexy, neboli dobre použité indexy, alebo sa zdrojové dáta nedokázali korektne prečítať z disku. Možnosť že by sa nezmestilo 50k údajov aj s indexami do RAM asi môžeme vylúčiť.

PS: Tie časy, keď ľudia museli uzavrieť v selekte index pomocou doplnenia nezmyselnej podmienky (and 1=1) by mali byť už dávno pasé, i keď to riešenie s pozmeneným selektom môže nasvedčovať niečomu podobnému.
31.7. 22:37 ET
Rozbalit Rozbalit vše Re: Mysql dotaz vezme 100% vykonu SQL serveru
mne se to nejak nezda, postni sem vystup "show create table Events" ze zdraveho a "rozbiteho" stroje :)
Max avatar 30.7. 13:30 Max | skóre: 67 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Mysql dotaz vezme 100% vykonu SQL serveru
Takto triviální dotaz musí běžet jedna dva. CPU může vyletět kvůli zmršenému IO na storage.
Zdar Max
Měl jsem sen ... :(
30.7. 13:39 dustin | skóre: 62 | blog: dustin
Rozbalit Rozbalit vše Re: Mysql dotaz vezme 100% vykonu SQL serveru
Nechybí na tom daném serveru indexy? Právě výstup explain je potřeba, jak již tu bylo zažádáno.
30.7. 14:04 Kit | skóre: 44 | Brno
Rozbalit Rozbalit vše Re: Mysql dotaz vezme 100% vykonu SQL serveru
Zkusil bych tuto variantu:
SELECT MAX(HwTime) AS HwTime, Person_Id, E.Description, E.Direction
    FROM Events JOIN Event as E ON (Person_Id = E.Person_Id) AND (HwTime = E.HwTime)
    WHERE (Exist = "1") AND (Direction <> "2") AND (System = "0")
    GROUP BY Person_Id
    ORDER BY Name ASC
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
30.7. 15:20 RadekXxX | skóre: 7
Rozbalit Rozbalit vše Re: Mysql dotaz vezme 100% vykonu SQL serveru
Hral jsem si stim a tato formulace dotazu vraci vysledek za 0,5 sec
SELECT k.HwTime, k.Person_Id, k.Description, k.Direction FROM Events AS k
  JOIN (SELECT Person_Id, MAX(HwTime) AS max_HwTime FROM Events WHERE (Exist=1 AND Direction <> 2 AND System=0) GROUP BY Person_Id) AS g
  ON (k.Person_Id = g.Person_Id AND k.HwTime = g.max_HwTime) GROUP BY k.Person_Id, k.HwTime ORDER BY k.Name ASC

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.