Dotaz: Návrh na ušetření výkonu

[Jano]

Zdravíčko přátelé. Načítám z mysql spoustu dat a ta data jsou pořád stejna. Nešlo by nějak v PHP nebo MYSQL udělat to, že by data zůstala načtena a ušetřila tak spoustu výkonu na stroji?

Poradil by někdo jak na to?

Odpovědi

[Kit]

Otázkou je, kolik je pro tebe "spousta dat" a také zda jich do aplikace nenatahuješ zbytečně mnoho. Typickou chybou je například načtení tabulky do pole, ze kterého se data teprve vybírají a zpracovávají nebo dokonce se podle nich posílají další dotazy do databáze.

Možná jen hledáš memcached. Občas také pomůže denormalizace databáze. Bez konkretizace účelu jenom hádám.

[SPM]

Co se týče samotné MySQL, tak je tam něco query cache size, tedy nějaká velikost cache, do které se schovávají výsledky... tím si samozřejmě neušetříš ten samotný dotaz a transfer dat mezi PHP a MySQL, nicméně pokud je to korektně nastaveno, tak to MySQL alespoň nehledá na disku...

[poky74]

Pokud jsou neustále stejná, tak je kravina používat databázi, implementuj to do aplikace.

Pokud bych to neměl brát tak doslovně, ta ty data načti do session a pracuj už jen s ním.

[Kit]

Kravina to není. Data mají být oddělena od aplikace a mají být v samostatném souboru nebo v databázi.

Pokud jsou ta data jen pro čtení, tak velmi zajímavým a rychlým řešením je funkce parse_ini_file(). Na mém Atomu dokáže načíst 120000 řádek souboru (8 MB ve formátu INI, což je běžný textový soubor) za sekundu do dvourozměrného asociativního pole. Dokonce umí i rozbalovat $proměnné v datové části, pokud je to potřeba.

[poky74]

Jasně, takže pokud tu máme nějaký konstanty, s kterými musíme pracovat, tak spustíme nějaký databázový server, nejlíp nějaký pořádný moloch, třeba to mysql, do něj nejlíp špatně navrhneme tabulky, nebudeme používat indexy a vykašleme se na cache..

Nebo ty konstanty nadefinujeme v aplikaci.

 

Nevím proč, nevidím výhodu databáze...

[Kit]

Na každý problém je vhodná jiná databáze. Bohužel se velmi často používá MySQL i tam, kde se vůbec nehodí, například na webové prezentace či redakční systémy. Ovšem existují běžně dostupné databáze (součást PHP), které jsou při správném použití rychlejší a úspornější na prostředky, než konstanty nastrkané přímo do PHP.

[poky74]

Aj, tak to bude zřejmě mezera ve znalostech, o tom jsem neslyšel, link, info?

[Kit]

DB4 na mém Atomu zvládá přes 70000 dotazů/s.

SQLite na stejném stroji 12000 dotazů/s.

MySQL jen 3000, tedy dvacetinu proti DB4 a čtvrtinu proti SQLite.

Už jsem se zmínil, že parse_ini_file() na stejném stroji načte 120000 konstant/s (8 MB dat). Je to rychlejší, než parsování PHP.

Když pak vidím redakční systém, ve kterém se při zobrazení každé stránky parsuje a ukládá do pole několik tisíc chybových hlášek, které se za běžného provozu vůbec nepoužijí a při chybě je potřebná jen jedna, chce se mi zvracet. Přitom by se krásně daly uložit třeba do CDB a v případě potřeby vytáhnout jen tu jednu položku.

Podobně jsou na tom i některá diskusní fóra, která kvůli zobrazení každého příspěvku vytváří samostatný dotaz do MySQL. Sto příspěvků, sto dotazů. Hrůza.

[poky74]

Dobře, beru zpátky, byla to mezera v mých znalostech, samozřejmě máš pravdu.

Má úcta, díky.

[Josef Kufner]

Jen tak mimochodem, co to bylo za dotazy?

[Kit]

Správná otázka. Byly to dotazy typu key->value, nejčastější typy dotazů v běžných internetových prezentacích. Uvědomuji si, že to silně upřednostňuje KVS před SQL. Pro e-shop je samozřejmě vhodnější SQL, ale v běžných prezentacích se vůbec nevyužívá jeho potenciál. Vždy, když vidím SELECT * FROM tabulka; tak si říkám, že je v aplikaci asi něco špatně.

Proto tvrdím, že pro každou úlohu je potřeba použít vhodný typ databáze. Někdy je správné použití SQL, jindy zase primitivní úložiště KVS. Univerzální databáze neexistuje, každá má jiné přednosti a nedostatky.

[Josef Kufner]

Ono ale i u jednoduchých webů spousta dotazů obsahuje několik joinů – u článků jméno autora a kategorie ve kterých článek je, v komentářích jména uživatelů, pak taky jsou docela časté různé stromové struktury (menu, hiearchie stránek, komentáře).

Ftip je v tom, že jednoduché řešení psané na míru konkrétnímu webu je mnohem náročnější na tvorbu, než obecnější, pomalejší, ale zato již hotové řešení, na kterém běží i složitější weby. Proto se všude používá MySQL, i když by to kolikrát nebylo nezbytně nutné.

A taky... co na tom, že to je 20× pomalejší, když i tak je to 50× rychlejší než je nutné.

[Kit]

Ve chvíli, kdy aplikace využívá schopnosti jazyka SQL, je jeho použití na místě. Pak už se rozhoduji mezi MySQL, PostgreSQL nebo SQLite podle dalších požadavků a možností. Konkrétně tam, kde se z databáze často čte, bývá SQLite velmi výhodné řešení. Nebo třeba i jen kvůli tomu, že má lepší podporu cizích klíčů než MySQL.

S tou stromovou strukturou je to však trochu horší. Víme, že SQL se na stromová data moc nehodí. Pokud vím, že ze stromu při každém zobrazení budu potřebovat víc než 50% dat, raději ho uložím jako blob v serializovaném formátu do KVS. Typicky diskusní fórum.

Reagoval jsem hlavně na připomínku, že konstantním datům je lépe v aplikaci než v databázi. Než přesouvat data kvůli výkonu z SQL DB do aplikace, je lepší je přesunout do KVS.

[Sten]

Takže chcete implementovat cache? To není úplně triviální, ale je to celkem jednoduché. Stačí vygenerovaný HTML soubor někam uložit a při načítání zjistit, jestli už existuje, a pokud existuje, tak jej odeslat místo dotazování se databáze. Při změně dat v databázi pak stačí ten soubor smazat, takže při příštím zobrazení se znovu vygeneruje.

[MMMMMMMMM]

http://zdrojak.root.cz/clanky/zvysujeme-vykon-mysql-zmenou-konfigurace/