Dotaz: Mysql optimalizace tabulek nepomaha, stale velka zatez

[Keli]

Zdravim,

chtel bych se zeptat popr. poradit ohledne databaze Mysql. Provozuji web server bezici na php 4 + mysql 4.2.1. V spickach (cca 50 queries/s) me stoupa load az k hodnotam 3, tabulky jsou optimalizovany pomoci indexu, dotazy provereny pres Explain. Cacheovani dotazu nemuze byt, protoze se data neustale meni.

Muze byt problemem, to ze nejvice ctena + zapisovana tabulka ma cca 350000 zaznamu. Celkova velikost databaze je cca 100MB.

Server Intel(R) Xeon(TM) CPU 2.80GHz, 1GB pameti, system Gentoo.

Diky.

Odpovědi

[tyctor]

to asi nebude databazou, nieje nijak zvlast velka...

[kouzer]

Ta db není moc velká.. Mám zkušenosti s daleko většíma.. Co se hodit třeba Create table??? Nebo taky třeba dotazy jaký tam běhaj... Tohle nikomu nic moc neřekne.

[Keli]

Prikladam datovou strukturu nejvetsich tabulek photos 23000 zaznamu, photos_comments 356000zaznamu, ostatni tabulky maji maximalne 2 tisice zaznamu, nemyslim si, ze by nejak zasadne ovlivnovali vykon.

CREATE TABLE `photos` (
  `id` int(8) NOT NULL auto_increment,
  `titulek` varchar(50) character set latin2 default NULL,
  `popis` text character set latin2,
  `vkladatel` varchar(50) character set latin2 default NULL,
  `vkladatel_email` varchar(50) character set latin2 default NULL,
  `kategorie` varchar(20) character set latin2 default NULL,
  `lokalita` varchar(50) character set latin2 default NULL,
  `jezdec` varchar(50) character set latin2 default NULL,
  `zobrazeno` int(8) default '0',
  `hodnoceno` int(5) default NULL,
  `hodnoceni` int(5) default NULL,
  `last_vote` varchar(20) character set latin2 default NULL,
  `ip` varchar(16) character set latin2 default NULL,
  `ins_time` datetime NOT NULL default '0000-00-00 00:00:00',
  `last_com_user` varchar(50) character set latin2 default NULL,
  `last_com_time` datetime default NULL,
  `category` int(2) default NULL,
  PRIMARY KEY  (`id`),
  KEY `hodnoceno` (`hodnoceno`),
  KEY `hodnoceni` (`hodnoceni`),
  KEY `vkladatel` (`vkladatel`),
  KEY `datum` (`datum`),
  KEY `ip` (`ip`),
  KEY `jezdec` (`jezdec`),
  KEY `ins_time` (`ins_time`),
  KEY `category` (`category`),
  KEY `lokalita` (`lokalita`)
) ENGINE=MyISAM;

-- --------------------------------------------------------

-- 
-- Table structure for table `photos_comments`
-- 

CREATE TABLE `photos_comments` (
  `id` int(10) NOT NULL auto_increment,
  `photo_id` int(10) NOT NULL default '0',
  `jmeno` varchar(50) character set latin2 default NULL,
  `mail` varchar(50) character set latin2 default NULL,
  `comment` text character set latin2,
  `datum` varchar(20) character set latin2 default NULL,
  `ip` varchar(16) character set latin2 default NULL,
  `auth` int(8) default NULL,
  PRIMARY KEY  (`id`),
  KEY `photo_id` (`photo_id`)
);

Nejcastejsi dotazy na tabulky (spojovana tabulka photos_categories ma 12 zaznamu, id je primarni klic):

SELECT photos.id AS id, titulek,datum,vkladatel, vkladatel_email,popis, lokalita,jezdec,zobrazeno,hodnoceno,hodnoceni,last_vote, photos_categories.category AS category, photos_categories.id AS cat_id FROM photos, photos_categories WHERE photos.category = photos_categories.id AND photos.id=36244 LIMIT 1

SELECT id,titulek,hodnoceni/hodnoceno,hodnoceno FROM photos WHERE ins_time > CURRENT_TIMESTAMP - INTERVAL 7 DAY AND hodnoceno>10 ORDER BY (hodnoceni/hodnoceno) ASC LIMIT 10

SELECT jmeno,mail,datum, comment,ip,id FROM photos_comments WHERE photo_id='33935' ORDER BY id

Nikde nejsou zadne slozite dotazy, zadne spojovani x tabulek apod

[Dalibor Smolík]

Nevidím tam žádnou zradu ... snad jestli u tabulky photos není příliš mnoho klíčů (KEY), neposoudím, zda jsou bezpodmínečně nutné. Při zadávání id používám specifikaci
id int unsigned not null auto_increment primary key
ale to by nemělo mít na rychlost žádný vliv.

[Keli]

Indexu je tam mnoho kvuli vyhledavani, do tabulky photos neni az tak mnoho zapisu, zato naopak do tabulky photos_comments je zapisu velice mnoho, proto je tam index pouze jeden, ten pres ktery vyhledava seznam odpovidajicich komentaru.

[Dalibor Smolík]

No, přesto bych počet indexů snížil. Já provádím vyhledávání přes skripty php, kdy vyhledávám všechny výrobky, které mají v názvu "polštář". Napíšu do formuláře třeba "polšt" a vyjede mi příslušná sestava ..
Seznam a detaily faktur mám tvořený dvěma tabulkami, jedna je pro záhlaví faktury a druhá pro položky zboží. Ta druhá tabulka má 25 polí (sloupců), klíč mám jeden id auto_increment a další dvě pole mají indexy (pole pro číslo smlouvy a pro číslo faktury). Další indexy nepotřebuji.

[Keli]

A kolik mate dotazu/s v spicce, pokud je jich minimum, je jedno zda-li mate indexy ci ne.

[Dalibor Smolík]

Dotazů je málo - max. 3 - 4 v jednom okamžiku. Otázkou je vyzkoušet rychlost, pokud je dotaz jenom jeden. V každém případě bez indexů bylo generování sestavy mnohem pomalejší.

[Keli]

Ano, to zajiste, bez indexu by to bylo pomalejsi. Nicmene u me je zatez nesrovnatelne vetsi nez u vas, dokud byla zatez mensi, zadne problemy s loadem nebyly.

[kouzer]

Co zkusit "optimitze table" a "analyze table" ?

[Keli]

samozrejme vyzkouseno, nic vyznamneho se nezmenilo.

[kouzer]

Nejsem expert, ale příliš indexů škodí.. Osobně bych hledal chybu někde v tom.. Třeba to rozdělit do víc tabulek.

[Keli]

Indexy ovlivnuji vyhledavani tim ze jej zrychluji, naopak cim vic indexu, tim jde vykon dolu u update, insert, replace apod, kde se musi indexy po uprave dat prepsat.

[Sinuhet]

Jste si jist, ze za to vytizeni muze mysql? Nejcastejsi dotazy jeste nemuseji byt ty, ktere davaji db nejvice zabrat. Jste si jist, ze prave v techto sql travi server nejvice casu?

A zkuste sem vlozit explain tech selectu.

[Keli]

Dle topu, je nejvetsi zatizeni CPU ma mysqld

explain SELECT photos.id AS id, titulek,datum,vkladatel, vkladatel_email,popis, lokalita,jezdec,zobrazeno,hodnoceno,hodnoceni,last_vote, photos_categories.category AS category, photos_categories.id AS cat_id FROM photos, photos_categories WHERE photos.category = photos_categories.id AND photos.id=36244 LIMIT 1
    -> ;
+----+-------------+-------------------+-------+------------------+---------+---------+-------+------+-------+
| id | select_type | table             | type  | possible_keys    | key     | key_len | ref   | rows | Extra |
+----+-------------+-------------------+-------+------------------+---------+---------+-------+------+-------+
|  1 | SIMPLE      | photos            | const | PRIMARY,category | PRIMARY |       4 | const |    1 |       |
|  1 | SIMPLE      | photos_categories | const | PRIMARY          | PRIMARY |       4 | const |    1 |       |
+----+-------------+-------------------+-------+------------------+---------+---------+-------+------+-------+
2 rows in set (0.02 sec)

explain SELECT id,titulek,hodnoceni/hodnoceno,hodnoceno FROM photos WHERE ins_time > CURRENT_TIMESTAMP - INTERVAL 7 DAY AND hodnoceno>10 ORDER BY (hodnoceni/hodnoceno) ASC LIMIT 10
    -> ;
+----+-------------+--------+-------+--------------------+----------+---------+------+------+-----------------------------+
| id | select_type | table  | type  | possible_keys      | key      | key_len | ref  | rows | Extra                       |
+----+-------------+--------+-------+--------------------+----------+---------+------+------+-----------------------------+
|  1 | SIMPLE      | photos | range | hodnoceno,ins_time | ins_time |       8 | NULL |  446 | Using where; Using filesort |
+----+-------------+--------+-------+--------------------+----------+---------+------+------+-----------------------------+

mysql> explain SELECT jmeno,mail,datum, comment,ip,id FROM photos_comments WHERE photo_id='33935' ORDER BY id;
+----+-------------+-----------------+------+---------------+----------+---------+-------+------+-----------------------------+
| id | select_type | table           | type | possible_keys | key      | key_len | ref   | rows | Extra                       |
+----+-------------+-----------------+------+---------------+----------+---------+-------+------+-----------------------------+
|  1 | SIMPLE      | photos_comments | ref  | photo_id      | photo_id |       4 | const |    1 | Using where; Using filesort |
+----+-------------+-----------------+------+---------------+----------+---------+-------+------+-----------------------------+

[DRSON]

a) "WHERE ins_time > CURRENT_TIMESTAMP - INTERVAL 7 DAY" tohle je smrt. Opravdu potrebujes fotky 7 dni zpatky s presnosti jakou ma CURRENT_TIMESTAMP ? Nestacilo by od pulnoci minuleho ctvrtka? Spocitej si v phpku nebo v cem to mas timestamp pulnoci 7 dni zpatky a porovnavej to jako cisla. Pak budes celej den spoustet ten samej dotaz a SQL cache ti k necemu bude.

b) spust na vsech tabulkach ANALYZE TABLE a OPTIMIZE TABLE a spoustej to pravidelne (1 za tyden/den?). Po velkym mnozstvi insertu to dela zazraky.

c) razeni podle pocitany hodnoty taky neni nic moc. Je to sice trosku proti normalizaci ale co si udelat novou tabulku s photo_id a vypocitanym hodnoceni/hodnoceno, nebo to rvat primo do photos a udrzovat to aktualni pri zmenach? Pak se na to da totiz udelat index :) Normalizace tim sice vazne utrpi, ale zrychleni to asi prinese.

A posledni rada na zaver: Precti si toto http://me.in-berlin.de/doc/mysql-doc/manual_MySQL_Optimization.html Je to moc zajimavy cteni :)

Dej pak vedet jak jsi dopadl, pripadne jestli jsi prisel na neco dalsiho. Resime ted podobnej problem (i kdyz to nemame tak kriticky ;)).

[dustin]

A load 3 ve špičce je moc? Přijde mi to OK. Spíše je otázkou, zda je dostačující rychlost odpovědi.

[denix]

V nasej aplikacii sice pouzivame Postgresql ale tiez sme mali velky problem so slabou vykonostou, potom som zmenil ext3 na raiserfs a vykon siel rapidne hore. Aky suborovy system pouzivate vy?

[Keli]

Pouzivam ext3, je to ostry stroj nemuzu menit souborovy system :(

[Duff]

Možná se u te ext3 podívat na nastavení commit (případně jaká je defaultní hodnota, při vytváření v gentoo) a pokud je nastavena na nějakou nízkou hodnotu (dost degraduje výkon, ale je bezpečná při výpadku), tak ji zvýšit (stačí na to remount fs). Někde ve faq je návod na optimalizac fs.

[R]

To je zbytocne.

[razor]

Zdar, ještě by si mohl uvést konfiguraci mysql. Např: show variables like '%size%'. A zapnout si logování pomalých dotazů, abys viděl na čem ti to visí (pokud to ovšem vázne na mysql).

[Keli]

mysql> show variables like '%size%';
+---------------------------------+----------------------+
| Variable_name                   | Value                |
+---------------------------------+----------------------+
| binlog_cache_size               | 32768                |
| bulk_insert_buffer_size         | 8388608              |
| delayed_queue_size              | 1000                 |
| innodb_additional_mem_pool_size | 2097152              |
| innodb_buffer_pool_size         | 16777216             |
| innodb_log_buffer_size          | 8388608              |
| innodb_log_file_size            | 5242880              |
| join_buffer_size                | 131072               |
| key_buffer_size                 | 134217728            |
| key_cache_block_size            | 1024                 |
| max_binlog_cache_size           | 18446744073709551615 |
| max_binlog_size                 | 1073741824           |
| max_heap_table_size             | 16777216             |
| max_join_size                   | 18446744073709551615 |
| max_relay_log_size              | 0                    |
| myisam_data_pointer_size        | 4                    |
| myisam_max_extra_sort_file_size | 2147483648           |
| myisam_max_sort_file_size       | 9223372036854775807  |
| myisam_sort_buffer_size         | 16777216             |
| preload_buffer_size             | 32768                |
| query_alloc_block_size          | 8192                 |
| query_cache_size                | 0                    |
| query_prealloc_size             | 8192                 |
| range_alloc_block_size          | 2048                 |
| read_buffer_size                | 2093056              |
| read_rnd_buffer_size            | 2093056              |
| sort_buffer_size                | 4194296              |
| thread_cache_size               | 0                    |
| tmp_table_size                  | 33554432             |
| transaction_alloc_block_size    | 8192                 |
| transaction_prealloc_size       | 4096                 |
+---------------------------------+----------------------+
31 rows in set (0.03 sec)

Logovani pomalych dotazu mam zapnute a nic se neloguje, citac pomalych dotazu hlasi 0

[R]

Load 3 je uplne v pohode, ak je to stale rychle. Ta tabulka a databaza je malicka. Na webserveri (Celeron 1,7GHz, 1280MB RAM) mame 2GB databaz, dve tabulky maju >400MB (jedna z nich je najpouzivanejsia), pocet riadkov v niektorych tabulkach je okolo 2 milionov. Priemerne 65 queries/s. V spicke byva load aj 13 a napriek tomu je odozva velmi slusna.

[Keli]

U me je prave odezva pomalejsi, jinak bych na to, ze je zvyseny load neprisel.

[R]

A este som zabudol: je tam ext3.

[Jirka]

A s jakymi parametry je pripojen disk? Treba parametr sync dokaze hodne zpomalit pristup na disk.

[gondo]

zdravim doporucujem vzhliadnut toto video http://video.google.com/videoplay?docid=2524524540025172110 niekde ku koncu je spomeute aj to ako optimalizovat ten vyber podla casu