abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 09:00 | Nová verze

Vývojáři KDE oznámili vydání KDE Gear 21.04. Ne, nejedná se o novou aplikaci. Bylo rozhodnuto, že KDE Gear bude nový název pro KDE Applications, tedy pro aplikace, související knihovny a pluginy. Na počátku bylo KDE aneb K(ool) Desktop Environment, následně jenom K Desktop Environment. Později se mluvilo o KDE SC neboli KDE Software Compilation. To byl společný název pro grafické prostředí Plasma, platformu a aplikace. Dále proběhlo

… více »
Ladislav Hagara | Komentářů: 6
dnes 08:00 | Zajímavý článek

Moxie Marlinspike, vývojář komunikační aplikace Signal, se dostal ke kitu firmy Cellebrite pro forenzní analýzu smartphonů, dodávanému represivním složkám různých států včetně autoritářských režimů. V zápisku ho popisuje včetně zranitelností a možných porušení licencí. Jedna z chyb v Cellebrite vede při načtení zvláštního souboru k narušení integrity veškerých reportů. Budoucí verze Signalu mají obsahovat zvláštní soubory.

… více »
Fluttershy, yay! | Komentářů: 0
včera 23:55 | Komunita

Ubuntu 21.10 bude Impish Indri (rošťácký lemur).

Ladislav Hagara | Komentářů: 2
včera 18:22 | Nová verze

Bylo vydáno Ubuntu 21.04 s kódovým názvem Hirsute Hippo. Přehled novinek v poznámkách k vydání. Zdůrazněna je možnost integrace s Microsoft Active Directory, Wayland ve výchozím stavu a vývoj aplikací pomocí Flutteru.

Ladislav Hagara | Komentářů: 13
včera 12:22 | Komunita

Prohlášení (Twitter) Minnesotské univerzity k výzkumu proveditelnosti nenápadného začlenění bezpečnostních chyb do Linuxu: Situaci bereme vážně. Výzkum jsme pozastavili. Prozkoumáme výzkumnou metodu a její schválení. Stanovíme opatření…

Ladislav Hagara | Komentářů: 59
včera 11:22 | Nová verze

OpenJS Foundation, oficiální projekt konsorcia Linux Foundation, oznámila vydání verze 16.0.0 (Current) otevřeného multiplatformního prostředí pro vývoj a běh síťových aplikací napsaných v JavaScriptu Node.js (Wikipedie). Přehled novinek v článku na Medium.

Ladislav Hagara | Komentářů: 4
včera 09:44 | Pozvánky

Na MFF UK pokračuje série on-line přednášek o architektuře a implementaci operačních systémů. Dnes je na programu Live kernel patching, příští týden ladění kernelu a kdump, další přednášky jsou naplánovány až do 3. června.

… více »
Vojtěch Horký | Komentářů: 0
včera 09:00 | Nová verze

Byla vydána nová verze 3.3 multiplatformního open source herního enginu Godot (Wikipedie, GitHub). Přehled novinek i s náhledy a videi v oficiálním oznámení.

Ladislav Hagara | Komentářů: 0
21.4. 21:22 | Komunita

Mozilla.cz informuje, že Mozilla z Firefoxu pro Android i iOS odstraní integraci „sledovacího“ systému Leanplum. Leanplum sbírá informace, jak moc uživatelé používají záložky, panely, integraci Pocketu apod. Českých uživatelů se to prý příliš netýká.

Ladislav Hagara | Komentářů: 4
21.4. 20:44 | IT novinky

Microsoft v příspěvku na svém blogu představil WSLg (Windows Subsystem for Linux GUI) aneb rozšíření WSL přinášející možnost spouštění grafických linuxových aplikací. V dalším příspěvku je rozebrána architekturu WSLg. Videoukázka práce s WSLg na YouTube.

Ladislav Hagara | Komentářů: 4
Kolik času v průměru denně trávíte videohovory/-konferencemi? (ať už v práci, škole nebo soukromě)
 (50%)
 (12%)
 (16%)
 (12%)
 (7%)
 (1%)
 (2%)
Celkem 408 hlasů
 Komentářů: 7, poslední 8.4. 12:14
Rozcestník

Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?

18.8.2011 21:12 | Přečteno: 1829× | Linux | poslední úprava: 18.8.2011 21:10

V tomto zápisku se prvně přiznám, že s direktivou Apache HostnameLookups jste měli nakonec pravdu nakonec vy. Původní příčina byla zapnutém firewallu ve Fedoře 15, u něhož se mi nepodařilo jeho zakázání obvyklým příkazem chkconfig, díky novém systemd. Za druhé se chci ale zamyslet na výše uvedeným příkazem v MySQL.

Na první pohled se totiž jedná o velice užitečný příkaz, který zřetězí pomocí zadaného oddělovače záznamy zesumarizované pomocí GROUP BY. Hodit se může např. v případě, že GROUPujeme např. podle uživatelského jména a chceme zjistit jestli v DB není jméno duplikované, takže si pomocí GROUP CONCAT(user_id) AS uid vypíšeme např.:
user1 | 14,21,35
filbar | 22,675
.
.
.
atd.
Jenomže to má jeden dooooost podstatný háček, velikost vráceného řetězce je ve výchozím stavu omezena na POUHÝCH 1024 znaků (přenastavit se dá v konfigu). Nechápu k čemu vůbec toto omezení existuje :-O. To má sloužit jako nějaká optimalizace, nebo proč? V každém případě nechápu proč vývojaři MySQL takto užitečnou funkci tak zbytečně pokazili.

BTW. Než jsem to dneska odpoledne odhalil, tak jsem ztratil dobré 2 hodiny času.        

Hodnocení: 67 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

18.8.2011 21:30 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
Hodit se může např. v případě, že GROUPujeme např. podle uživatelského jména a chceme zjistit jestli v DB není jméno duplikované

To můžete zjistit snáz třeba pomocí

  select NAME,count(ID) as CNT from TT group by NAME having COUNT(ID)>1

nebo (lépe) rovnou ten sloupec deklarovat jako unique.

Jenomže to má jeden dooooost podstatný háček, velikost vráceného řetězce je ve výchozím stavu omezena na POUHÝCH 1024 znaků (přenastavit se dá v konfigu). Nechápu k čemu vůbec toto omezení existuje :-O. To má sloužit jako nějaká optimalizace, nebo proč?

Zřejmě to bude souviset s implementací té agregační funkce a její návratové hodnoty. Na druhou stranu, pokud vám taková délka nestačí, je více než pravděpodobné, že to, o co se snažíte, bude vhodnější dělat úplně jinak. Tahle agregační funkce slouží k usnadnění práce při generování jednoduchých výpisů, ne k tomu, abyste pomocí ní lámal něco, co pravděpodobně půjde daleko lépe vyřešit nějakým joinem.

19.8.2011 09:52 Epik
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
Já velikost GROUP_CONCAT upravuji sql dotazem SET SESSION group_concat_max_len = xx;
19.8.2011 11:26 Käyttäjä 11133 | skóre: 58 | blog: Ajattelee menneisyyttä
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
odit se může např. v případě, že GROUPujeme např. podle uživatelského jména a chceme zjistit jestli v DB není jméno duplikované, takže si pomocí GROUP CONCAT(user_id) AS uid vypíšeme např.:
No nevím, nějaký index, nebo něco podobného by asi bylo mnohem rozumnější, než to řešit na aplikační úrovni...
19.8.2011 14:00 CEST
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
Rekl bych, ze tvuj problem bude podobneho razeni jako problem s Apachem. Nakonec zjistis, ze to delas spatne a da se to delat naprosto jinak. Tvuj priklad se zjistovanim duplicit to primo potvrzuje.

Jinak, cti manualy, ne nejaky lammersky priklady, co najdes pres google - predpokladam, ze jsi nasel nejakej priklad, kde mel manik tabulku s 10 zaznamama a max. 3 mel duplictni a tys to same pouzil na nejakou tvoji tabulku s milionem zaznamu a tisicovkama duplicit.

V manualu je primo napsane
You can set a maximum allowed length with the group_concat_max_len system variable. (The default value is 1024.)
Osobne bych duplicity taky radsi hledal spis pomoci having.
19.8.2011 14:14 gabakuk
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
Hodit se může např. v případě, že GROUPujeme např. podle uživatelského jména a chceme zjistit jestli v DB není jméno duplikované

Pane kolego, prestante vymyslet picoviny a radeji se venujte studium sql, indexu, klicu a normalovych forem.
19.8.2011 14:28 filbar | skóre: 36 | blog: Denicek_programatora | Ostrava
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
Tu aplikaci jsem nenavrhoval já.
20.8.2011 15:31 Nemo7
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
>> prestante vymyslet picoviny

1) Nejsem autor dotazu. 2) Pokud takto jednáte v životě, tak se divím, že s vámi ještě někdo komunikuje. 3) Při návrhu DB znám pouze NORMÁLNÍ formy, ne normálové. Poučte neznalého, rád se něco dozvím. :-)

http://interval.cz/clanky/databaze-a-jazyk-sql/
21.8.2011 00:03 nyan
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?

Co se tyce MySQL, muj osobni pocit je ze blysti se tam toho hodne, ale zlata je tam asi jak v Ankh-Morporskem tolaru :)

Za posledni 1/2 rok sem stravil neuveritelne mnozstvi casu prochazenim manualu MySQL ve snaze vyresit ruzne veci. Vetsina featur MySQL se nese v tomto duchu: "MySQL ve verzi X ma novou skvelou featuru Y. .... nasleduje popis featury .... prosim prectete si omezeni tedle featury tady ..." a link na trikrat delsi popis omezeni featury.

Priklad co sem resil: mam tabulku a protoze bude mit moc radku (v radech milionu) chci udelat partitioning. Tabulka "t", primarni klic "id" auto increment, cizi klic "y_id", foreign key constraint nad y_id, par dalsich sloupcu.

Ja: create table... partition by list(y_id)
MySQL: partition tabulka nemuze mit foreign key constraint
Ja: ok, cert vem integritu, znovu bez foreign key
MySQL: kazdy sloupec z partition key musi byt soucast primary key.
Ja: WTF ? co je todle za .... ? no nic tak udelam slozeny primary key (y_id, id)
MySQL: Nemuzete mit auto_increment nad jednim sloupcem slozeneho primary key
Ja: AAAAAAAAAAAAAAAAAAAAAAAAAAAAAA

... Kdyz nechcete prijit o nervy, vyhnete se MySQL obloukem.

Josef Kufner avatar 21.8.2011 11:40 Josef Kufner | skóre: 70
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
MySQL je jednoduchá a hloupučká databáze a podle toho se s ní musí jednat. Kdybys v druhém kroku vyhodil místo foreign key onu partition část, tak bys měl po problému. A nebo jsi to prostě jen dělal blbě ;-)
Hello world ! Segmentation fault (core dumped)
21.8.2011 13:58 Miloslav Ponkrác
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
Základní problém MySQL je v Linuxu. Linuxové distribuce běžně obsahuje MySQL několika let staré verze.

Holt než to projde linuxovým kolečkem ód objevení se nové verze poté, než to distribuce zabalí, otestují, než se otestuje celá distribuce a stane se stable, tak je v MySQL i roky zastaralá verze.

Oracle na MySQL zapracoval a vůbec ne špatně. A možná v příštím tisíciletí se dostanou tyto verze do Linuxu.

Schválně připiště na jeké verzi MySQL pracujete a bude jasno.
okbob avatar 21.8.2011 18:39 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
No jestli to není tím, že v MySQL se zasekli na 5.1 a 5.5 je teprve letošní záležitost? Nic produkčního mezitím nevyšlo, když nepočítám 5.4, která se vydávala narychlo ještě v Sunu (a spíš ze strachu, jak dopadne MySQL v Oraclu).

21.8.2011 16:48 nyan
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
Kdybys v druhém kroku vyhodil místo foreign key onu partition část, tak bys měl po problému.
Podstata cviceni byla zavest partitioning. Zkouseli ste nekdy vymazat 5M radku z tabulky co jich ma 25M ? Kdyz je mate v partitionech, dropnuti jedne partition je prakticky okamzite.
A nebo jsi to prostě jen dělal blbě ;-)
Nemyslim. AFAIK vsechno na co sem narazil jsou dokumentovane omezeni, neboli gotcha
21.8.2011 13:52 Miloslav Ponkrác
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
1) čtením manuálu bysis ušetřil 2 hodiny času, stejně tak jak dělání hlupáka ze sebe na tomto blogu.

SET [GLOBAL | SESSION] group_concat_max_len = nový_limit_pro_group_concat;

Stačí použít jednou po navázání spojení a je po problému.

Stačí se naučit číst, slabikář určitě někde od učitelky první základní třídy seženeš jako první kroky k tomu naučit se číst manuály. Pokud nakoukneš do manuálu, problém je vyřešen do minuty.
21.8.2011 13:58 filbar | skóre: 36 | blog: Denicek_programatora | Ostrava
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
Manuál jsem tak detailně nezkoumal, protože jsem nečekal, že by databáze měla co ořezávat výsledky a o tom tento zápisek je, že databáze má data vracet tak jak jsou v ní uložena a ne dělat na nich nějaké nepochopitelné ořezávání.
21.8.2011 14:02 Miloslav Ponkrác
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
A nějaká bezpečnost a snaha nepřetížit databázi Vám nic neříká?

Zkuste si příště přečíst ten manuál a nehrát si ředitele zeměkoule co by jiné věci měly dělat. Bude to rozhodně užitečnější.
21.8.2011 14:07 filbar | skóre: 36 | blog: Denicek_programatora | Ostrava
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
Databázi můžu přetížit i obyčejným SELECTem, když ho napíšu špatně.
21.8.2011 15:32 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
Když jste přesvědčen, že je to tak jednoduché, tak proč to neimplementujete? Pokud to bude fungovat, vývojáři budou IMHO jedině rádi…
21.8.2011 19:47 Ladicek | skóre: 28 | blog: variace | Havlíčkův brod
Rozbalit Rozbalit vše Re: Není všechno zlato, aneb k čemu je v MySQL GROUP_CONCAT ?
Boha, kdysi jsem narazil na jedné (raději nejmenované) databázi na "problém", že IN (1, 2, 3, atd.) klauzule mohla obsahovat nanejvýš 1024 prvků. To bys taky odsoudil? :-)
Ještě na tom nejsem tak špatně, abych četl Viewegha.

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.