Mysql lama zrychluje vyhledávání

19.8.2007 17:41 | varia

Byl jsem donucen vytvořit konečně slušnější cca 6 MB databázi v MySQL (pár set tisíc řádků). Trochu jsem si hrál s PHP a po vypečeném křížovém dotazu byla mašina schopná klidně pár hodin chroustat na 2x100% výkonu. Moje databáze byly vždy víceméně kapesní, seriózně jsem nikdy v SQL nedělal, takže jsem tyto problémy nemusel řešit. Kupodivu mi tentokrát nepomohlo abíčko, neboť zde se indexy řešily před lety a používaná syntax se od dob mysql 3.x trochu změnila , ale pomlouvaný portál. CREATE INDEX index_podle_ceny ON produkty (cena) bylo to co do mě koplo a nyní mysqlka lítá jako drak. člověk se furt učí ...

       

Komentáře

[Heron]

To jsi až teď objevil indexy?

[Michal Fecko]

Ty si ich poznal, 35 sekund po narodeni, co?

[phero]

To rozhodně ne, ale člověk čeká co z toho vyleze a on takovýto závěr.

[Heron]

Nikoliv. Ale indexy jsou běžnou součástí návrhu DB schematu, není to nic co by měl člověk hledat po zdrojácích .

[Michal Fecko]

no ok.

[andree]

holt nie kazdy cita manualy/chodi na kurzy/prednasky, predtym ako zacne kodit... viem si predstavit ze clovek ma na zaciatku pohlad ze "databaza je vela tabuliek dokopy", a dalsie veci neriesi.. ocividne to ale pride casom, ze zacne

[Kyosuke]

...a proto nemá rozložení kvality softwaru normálové rozložení, ale vypadá jako klesající exponenciála...

[Kyosuke]

(Ech, co to žvaním: normální rozdělení...)

[andree]

zaujimava myslienka normalne asi az suhlasim

[Kyosuke]

No já se třeba těšil při spatření názvu blogpostu na nějakou pěknou analýzu přes EXPLAIN PLAN nebo něco podobného...a ono prd.

[podlesh]

Já jsem to slovíčko lama v názvu nepřehlédl

[Jiří Veselský]

Na tuto otázku se samozřejmě nabízí odpověď ne, nevěděl jsem to 35 sekund po narození. Ale při hlubším zamyšlení to až tak jasné není.

Oba mí rodiče problematiku indexace databází znali už v době mého početí. A máme tady teorie o dědičnosti paměti... Kromě toho nelze vyloučit, že se o této problematice bavili v době mého prenatálního vývoje. A máme tady teorie o tom, že plod vnímá a pamatuje si vše, co se v době jeho vývoje dělo... A pak tady samozřejmě máme teorie minulých životů a nelze vyloučit, že jsem se s touto problematikou v některém z minulých životů potkal - tady je to trochu nejisté, protože indexace databází je věc poměrně nedávná, takže by ten minulý život nesměl být moc minulý... Nicméně zde máme teorie o paralelních, pokročilejších vesmírech, tam znali indexy určitě dřív. A samozřejmě ještě to zničení Atlantidy a celé civilizace mnohem vyspělejší, než je dnešní - ti indexy určitě znali taky, a v minulém životě tak nemusel být problém se to dozvědět.

Jak vidno zříti, odpovědět na shorauvedenou otázku kategorickým ne je, přinejmenším, troufalé.

Smíříme-li se ovšem s trapnou konvencí, pak si tedy troufnu odpovědět, že jsem indexy 35 sekund po narození neznal. I když si tím nejsem příliš jist, protože si zážitky z té doby nevybavuji... Čím si ale jsem jist je fakt, že jsem indexy znal rozhodně dříve, než jsem začal psát svou první databázovou aplikaci.

[Michal Fecko]

Na tuto otázku se samozřejmě nabízí odpověď ne, nevěděl jsem to 35 sekund po narození. Ale při hlubším zamyšlení to až tak jasné není.

Oba mí rodiče problematiku indexace databází znali už v době mého početí. A máme tady teorie o dědičnosti paměti... Kromě toho nelze vyloučit, že se o této problematice bavili v době mého prenatálního vývoje. A máme tady teorie o tom, že plod vnímá a pamatuje si vše, co se v době jeho vývoje dělo... A pak tady samozřejmě máme teorie minulých životů a nelze vyloučit, že jsem se s touto problematikou v některém z minulých životů potkal - tady je to trochu nejisté, protože indexace databází je věc poměrně nedávná, takže by ten minulý život nesměl být moc minulý... Nicméně zde máme teorie o paralelních, pokročilejších vesmírech, tam znali indexy určitě dřív. A samozřejmě ještě to zničení Atlantidy a celé civilizace mnohem vyspělejší, než je dnešní - ti indexy určitě znali taky, a v minulém životě tak nemusel být problém se to dozvědět.

Jak vidno zříti, odpovědět na shorauvedenou otázku kategorickým ne je, přinejmenším, troufalé.

Smíříme-li se ovšem s trapnou konvencí, pak si tedy troufnu odpovědět, že jsem indexy 35 sekund po narození neznal. I když si tím nejsem příliš jist, protože si zážitky z té doby nevybavuji... Čím si ale jsem jist je fakt, že jsem indexy znal rozhodně dříve, než jsem začal psát svou první databázovou aplikaci.

Ok, takze to sa bude musiet dovysvetlit...
dnes 18:46 Heron  | skóre: 33 | blog: root_at_heron  | Olomouc 
To jsi až teď objevil indexy?

dnes 18:47 Michal "feco" Fecko  | skóre: 12 | blog: Slobodný svet  
Ty si ich poznal, 35 sekund po narodeni, co?

--> Reagoval som na Heron-a a jeho poznamku ze "AZ teraz" 
    - akokeby to nutne muselo byt jasne pri malych databazach 

[Heron]

--> Reagoval som na Heron-a a jeho poznamku ze "AZ teraz" - akokeby to nutne muselo byt jasne pri malych databazach

Možná neumím dobře Slovensky (vlastně určitě ), ale indexy nejsou závislé na velikosti DB. Ty tam prostě patří už v design time.

[Kyosuke]

Ono moc rozumných lidí nepoužívá lineární (ba co víc, občas exponenciální) algoritmy, když jsou po ruce logaritmické bez práce na pár řádků kódu, že jo...

[deda.jabko]

logaritmicke? opravdovi muzi pouzivaji O(1) algoritmy ;-]

napr. pri nekterych typech vyhledavani jsou logaritmicke algoritmy cestou do pekla... napr. hledani zaznamu s podminkou where foo = 'bar' problemy nastavaji uz po par stech tisicich zaznamech... a je dobre zmenit typ indexu...

btw. proto SQL backend pouzivaji jenom ty nejzoufalesi fulltextove vyhledavace ;-]

[Kyosuke]

B-strom pořád lepší než full table scan. BTW, co má O(1) a zachovává to přitom řazení prvků? Z hlavy se mi teď nic nevybavuje. O fulltextech mi nemluv, mám jich za poslední měsíce plnou hlavu, ten Trados mi fakt nasadil brouka do palice. :-/

[atan]

http://php.vrana.cz/ukazka-pouziti-indexu.php

[aa]

Dalsi lama lina cist manualy.

[deda.jabko]

toto je docela casty problem programatoru (a nejen zacinajicich) v kombinaci php/mysql ... poznat, ze chybejici indexy jsou problem... na malych testovacich datech se to neprojevi... navic v praxi se na vetsinu joinu pouzivaji primarni klice... na ktere se implicitne vytvari index... takze casem na to, ze existuji neco jako indexy uplne zapomenou....

[moira]

Obdivuji, ze vas nezarazilo, ze operace s minidatabazi (6MB) trva dele nez par sekund (a to jeste na Dual Core, jestli to dobre chapu) a cekal jste tak dlouho. Ja bych nevydrzel a po pul minute bych zacal hledat problem... :)

[Georgius]

Svítilo sluníčko, tak jsem se šel opalovat a nechal počítač počítat. To víte, "dovolená"

[moira]

Hehe, tak to pak chapu, ze to clovek neresi :)

[pinkolin]

Ja si myslim, ze je fajn, ze si to priznal takhle verejne. Vetsina lidi se za banalni chyby stydi, pritom zapomenuty index je nejcastejsi prohresek. Vubec ty nejbanalnejsi chyby me nejak potkavaj casto a mam problem je resit, hlavne je najit. Obcas stane, ze spis casem pridam nekam nejaky dalsi dotaz, kde vyhledavam data jinak a indexy s tim nepocitaji... Holt stane se a je fajn, ze kodi cim dal tim vic lidi, uceny z nebe nespad. Ahaaa, ja jsem vlastne na abclinuxu .

[Georgius]

Gratias ago tibi propter sententiarum tuorum. Credo nonnulam lamam hac difficultatem habere et celer scire quod factum esse debet nonnuli optant. P.S. Wicipaedia iam 14683 paginas habet !

Vy neumíte latinsky od narození ? :-P

[pinkolin]

Neumim, ale umim googlovat

[Georgius]

Hmm, tak jsem si říkal, že vás potěším a zbytek *NIXové komunity ostrouhá a ono nic Ono na GPRS si člověk 2xrozmyslí, jestli se vydá na google ...

[Dalibor Smolík]

Je to tak, indexy jsem na začátku přehlížel, ale jakmile se výsledek hledání rozrostl na několik desítek tisíc řádů, nic jiného nezbylo. Leccos se o indexech dá přečíst i tady.

[kaaja]

Jo ja pamatuji památnou větu mého šéfa:"Indexi, o těch jsem slyšel, že zrychlujou ". Bylo to ve chvíli, kdy jsme měli strašné výkonostní problémy, optimalizovali jak diví kód a pak jsme zjistili, že nám na produkční databázi chybí asi půkla indexů co tam měli být. Po jejich obnovení nastalo sakra zrychlení.