Dotaz: mysql memory leak

[Marvil]

Ahoj, snažím se používat program Bakaláři (program pro školy na dělání rovrhů, známek, evidenci apod.) s datama na MySQL server. Jakmile pustím bakaláře k nějaké činnosti (přidělení uživatelských práv) tak mi mysql vezme veškerou pamět (cca 760MB) a server mi mysql ustreli s tim, ze nema dostatek pameti. Zkousel jsem hledat co se dalo o "zkroceni" mysql, ale bohužel zatím neúspěšně. Přitom pracovat se v Bakalářích tak nějak dá (ale stejně mi MySQL bere celou pamět, ale server ho neustřelí). Databáze je veliká asi 10 MB. Používám Debian a MySQL 5.0.32 z balíčku a v konfiguraci jsem změny nedělal (kromě několika testů, ale zatím mi nic nepomohlo. program je nainstalovaný na jiném PC a do databáze se připojuje pomocí ODBC spojení. Můžete mi pomoci s tímto problémem? Díky za každou radu Marvil

server celeron 2,4, 768 MB RAM

Odpovědi

[centus]

Cao Zajimalo by mne jak jsi pokrocil.....Ja mam trochu podobnej problem. Provozuji Bakalare taky pres MySql a nemam s tim vetsi problem pokud pracuji s aplikaci "Bakalari", ale pokud spoustim web aplikaci (ktera mi nabehne v poho )a zadam login ( platny )tak to nacita a nacita a nacita stranku a nakonec to nenacte nic, ale ani to nic nezahlási. Pri tomto nacitani mam silene vytizenej system tak ( Fedora 5 , apache 2 , PHP 5 , MySql 5 ), ze si ani skoro nepustim Puttynu. Nevim jak jsi daleko, ale dej vedet. Cus

centus@tiscali.cz

[centus]

Jeste jsem chtel rict ze mi to jede na kompu : Cyrix 300Mhz , 128 MB SDRAM , 5 GB Hdd .... to je prasivka co ? Pripominam, ze to jede jenom v textovem rezimu ( v grafickém rizhrani jsem to radsi ani pri tehle konfiguraci nezkousel instalovat ).

[Luboš Doležel (Doli)]

Ani slovo "totální šmejd" nevystihuje přesnou podstatu programu Bakaláři - alespoň ve verzi, co vidím u nás ve škole. Takže kdoví, kde ten problém vlastně je.

[*]

zapni v mysql logovani dotazu a jejich casu a podle toho se asi neco bude dat vystopovat.

a) nutnost velkych docasnych tabulek

b) mizerny iterativni pruchody, kdy se vezme prvni hodnota a vraci se pulka tabulky a pak se dela dotaz znova

c) mizerny joiny

d) cokoliv jineho

[centus]

A jak se prosim te zapina mysql logovani dotazu ?

[Mrkva]

Je to tzv. binary log, IMHO :) log_bin = /var/log/mysql/mysql-bin.log

[edois]

neni, tohle je binarni log (na replikaci)

logovani dotazu se zapne pomoci log = /cesta/k/logu

[Vojta]

Problém se spotřebou paměti vzniká skutečně při použití webových aplikací. Důvodem je jemná granularita práv přístupu k záznamům v databázi a velké množství uživatelů. Každý rodič je totiž veden jako uživatel mysql, a tabulka práv mysql (tables_priv.MYD) je obrovská. Mysql zřejmě práva přístupu drží trvale v paměti, takže není problém mít spotřebu paměti > 1 GB, i když samotná databáze má třeba 40 MB. Je-li zde někde mysql guru, třeba by dokázal poradit nějaké řešení. Já jsem to vyřešil tak, že jsem práva, která jsem považoval za zbytečná, smazal (vyrobil jsem nějaký skript).

Btw - ty PHP skripty jsou šílenej paskvil, prakticky nejedou, a firma tvrdí, že není v jejich silách to vyvíjet (odpověď pana Libora Jelínka).

[mir.oslav]

Ju, to jsem rád, že nejsem sám, kdo tento problém řeší. Dokud byli v bakaláři zavedeni jako uživatelé jen učitelé, bylo všechno v pohodě. Pak jsem zprovoznil webový přístup pro rodiče, vygenerovaly se účty pro všechny (asi 600 studentů), a od té doby to blbne. Bakaláři jedou, ale když chci udělat nějakou změnu v přístupových právech a pak dám "Aktualizovat SQL role a loginy" v Parametrech, MySQL začne žrát paměť (mám 2 GB) a pak swap, až to musím odstřelit (Bakaláře i mysql server). Zajímavé ale je, že samotné vygenerování účtů a zapsání do mysql bylo celkem rychlé a v pohodě. Nechce se mi věřit, že by toto množství uživatelů bylo na MySQL moc. Spíš je někde nějaká prasárnička v Bakalářích. Zkusím hledat dál.

[ehe]

Balaláři je program na ho... Je to totální paskvil který nedokáže normálně pod databází běžet. Někde jsem před nějakým časem o tom našel i pár slov, že bakaláři pod mysql je jako naučit prase létat... Doporučuji bakaláře vyhodit a přejít na sas, to je taky paskvil, ale mnohem menší a db běži pod firebirdem.

[mir.oslav]

Mno, o sasu slyším poprvé. Bakaláři jsou pěkná čuňárna, ale je sas také tak komplexní? Dá se někde najít nějaké podrobnější srovnání? Bojím se, že přechod by asi hodně "bolel" (pokud by se ho vůbec podařilo prosadit). Zkusím ještě zalaborovat s parametry v my.cnf, hlavně s key buffer a query cache, uvidíme.

[mir.oslav]

Tak jsem to trochu poladil. Pro ty, co s tím ještě bojují: V my.cnf má cenu pohrát si s hodnotami key_buffer, query_cache_limit a query_cache size. Ne že by mi to teď nežralo paměť, ale neswapuje a hlavně funguje. Moje nastavení:

key_buffer = 512M
query_cache_limit = 32M
query_cache_size = 512M

(Pentium 4 3 GHz, 2GB RAM)

[Vojta]

Myslím, že příčina problémů je zde: "The server stores privilege information in the grant tables of the mysql database (that is, in the database named mysql). The MySQL server reads the contents of these tables into memory when it starts." Server tabulky práv, tj. databázi /var/lib/mysql, drží trvale v paměti. Každý uživatel má velice jemně definována přístupová práva a databáze mysql je pak příliš velká.

Nevěřím, že uvedené úpravy mají výraznější přínos. Můžeš napsat, jak se změnila spotřeba paměti procesu mysql po změně konfigurace?

[mir.oslav]

Pardon, špatně jsem se vyjádřil. Vyřešilo to problém, co jsem popisoval výše. Když dám teď v Parametrech volbu "Aktualizovat na SQL serveru uživatele, role a loginy", vezme si to navíc jen trochu paměti, normálně to proběhne, trvá to asi 2 minuty. Vyzkoušel jsem, že na to mají ty parametry skutečně vliv.

Ale na celkovou spotřebu paměti při normálním používání to vliv nemá, mysql normálně zabírá asi 680MB. A dnes ráno mysql neběžel, z logu jsem vyčetl, že spadnul pro nedostatek paměti. Chjo.

Provozuje vůbec někdo Bakaláře na MySQL v pohodě? Fungují na MsSQL líp? Takhle to do budoucna nejde..

[Vojta]

Mně to běží stabilně. Mám 512MB RAM a 2GB swap, mysql 5.0.58-1 pod Centosem. Po aktualizaci uživatelů (30 + 350 rodičů) si proces mysql vezme asi 1400 MB (aktualizace trvá 15-20 minut za velmi brutální zátěže systému). Pak promažu zbytečná práva rodičů speciálně napsaným skriptem (1/2 dne vývoje, než jsem pochopil co můžu smazat). A dostanu se na spotřebu paměti mysql kolem 500 MB. Ale uznávám, že je to na hraně.

[mir.oslav]

Tak to tak nějak odpovídá, mých 680 MB paměti při 600 studentech. Je to ale víc než na hraně. Nevím, jak se to bude chovat do budoucna, ale hlavně firma už nepodporuje přístup přes PHP/MySQL, stačí v příští verzi nějaká změna ve struktuře databáze, a jsme namydlení. Sám do nějakých úprav jít nechci, je to komerční aplikace, o podporu se mají starat autoři. Kdyby to byl komunitní projekt, tak tomu klidně nějaký čas věnuju.

Docela by mě zajímalo, jak náročné je to na Windows server s MsSQL, jestli ho to taky takhle brutálně vytíží. Původní záměr nebyl mít jeden výkonný server vyhrazený pouze pro Bakaláře, to je pro školu trochu luxus.

[Honza "tux" Friesse]

Ano provozuje, nicméně v pohodě ... tak to nazvat asi nejde, muselo se upgradovat na 2GB paměti, aby stroj vůbec naběhl.

Jinak interní informace jsou asi takové:

• PHP verze se vyvíjet nebude. Ten člověk co ji dělal se prý zbláznil a odešel (nebo něco v tom smyslu, každopádně tam není a není ani nikdo jiný, kdo by to vyvíjel).
• MySQL prý používá jen školy Nádražní 5 a Gymnázium ve Vyškově (ano, zde to provozuji) jinak to nikdo nechce, všichni chtějí MsSQL.
• Prý zkoušeli bakaláře rozjet v Monu, nepovedlo se -> nemají čas vyvíjet dvě verze databází -> MySQL podpora bude ostraněna.

Logický důsledek. Kvůli tomuhle stupidnímu, absolutně uživatelsky nepřívětivému a šíleně drahému bastlu, na který si bohužel všhicni zvykli, se přemigruje CentOS na W2K3 s MsSQL (ta desktopová verze zdarma, která má celkem hodně omezení).

Jinak pokusně jsem to na tom MsSQL zkoušel i s tím Web rozhraním (v .NET) a chodilo to, nicméně stroj měl 2GB RAM a byly to W2K. Nicméně reálný provoz si moc dobře představit nedovedu.

[mir.oslav]

Takže to taky vidim na migraci na MsSQL.. Btw, chodí vám ty PHPka s vypnutými register_globals=Off? Přestože na jejich webu upozorňují, že by měly být register_globals vypnuté, mně to jede jen se zapnutými (a dělám to nerad). Když je vypnu, po přihlášení se stránka vlastni.php neustále reloaduje dokola.

[Honza "tux" Friesse]

Příloha:

• vlastni.php.diff (1143 bytů)

Tak se dívém na ten server a, php.ini

; to possible security problems, if the code is not very well thought of.
register_globals = Off

Jenže aby to jelo, bylo třeba upravit soubor vlastni.php. Diff je v příloze. Možná se tam muselo nastavit ještě něco, ale nevzpomínám si.

Ale popravdě, ta PHP verze je dost omezená, ta .NET mi přišla dodělanější.

[Vojta]

Verzi PHP se skutečne Bakaláři vyvíjet nechtějí. Cituju celý mail p. Jelínka: "O vývoj webových aplikací na platformě PHP jsme se sice pokusili, avšak už zhruba před dvěma roky jsme jej uzavřeli. Plnohodnotné řešení nabízíme v technologii ASP.NET. Omlouváme se, ale není v našich silách podporovat paralelní program v jiné technologii, ať už bychom to dělali sami nebo někdo jiný, komu bychom poskytli podklady. S pozdravem Libor Jelínek."

To, že Bakaláře na MySQL používají jen dvě školy, je nesmysl. Já to také používám a na žádné ze uvedených škol nejsem.

Migrování není potřeba. Pokud vývojáři Bakalářů vhodně upraví tabulky práv k databázi, tak to MySQL spolkne a pojede bez velkých nároků. Podporovat současně MySQL a MS SQL není technicky žádný problém, beztak to používá jen kompatibilní základy SQL a pro přístup k serveru klasické Win ODBC.

Já jsem PHP skripty částečně přepsal, aby to jakž takž jelo. Otázka pár dní programování a byla by to nádhera. Bohužel Bakaláři jsou proti.

Mailujte! Volejte! Tlačte na ně! Uvědomte si, že za tento software každoročně platíme. Bohužel taháme za kratší konec, protože těžko vyhrožovat přechodem ke konkurenci, pokud srovnatelná konkurence neexistuje.

[Honza "tux" Friesse]

To, že Bakaláře na MySQL používají jen dvě školy, je nesmysl. Já to také používám a na žádné ze uvedených škol nejsem.

Tohle vím, jenže tak to bylo zástupci Bakalářů řečeno.

Migrování není potřeba. Pokud vývojáři Bakalářů vhodně upraví tabulky práv k databázi, tak to MySQL spolkne a pojede bez velkých nároků. Podporovat současně MySQL a MS SQL není technicky žádný problém, beztak to používá jen kompatibilní základy SQL a pro přístup k serveru klasické Win ODBC.

Jsem stejného názoru. Navíc pokud se jim nelíbí MySQL, proč nepoužít PSQL, Firebird, nebo třeba Oracle. Jenže prostě ne, oni tvrdí, že je Linux moc roztříštěný (což je částečně pravda) a nejde podporovat všechno. Na návrh, aby kompatibilitu udržovali a zaručili jen s několika vybranými distribucemi (typu RHEL, SUSE Enterprise Server, Mandirva Corporate Server, Debian stable, UBUNTU Server LTS, nikdo po nich nechce LFS), řekli že ne, že to prostě musí běžet na všem. Takže je to spíš o tom, že se jim to prostě nechce dělat.

Mailujte! Volejte! Tlačte na ně! Uvědomte si, že za tento software každoročně platíme. Bohužel taháme za kratší konec, protože těžko vyhrožovat přechodem ke konkurenci, pokud srovnatelná konkurence neexistuje.

Zbytečnost. Prostě jejich názor je, že Server = Win2K3, který je pro školy stejně skoro zdarma (no proti klasické verzi opravdu je). Linux = hnus. Databáze = MsSQL desktop edice je taky zdarma = krása. Cokoli jiného = hnus..NET a Foxka = krása, cokoli jiného (nedejbože třeba Java) = hnus.

Btw. Když jste editoval ty PHP, nestály se Vám ty kódy takové ... nechci říct amatérské, abych neurazil amatéry. To je prostě horor. Jejich databázové tabulky, to je horor číslo 2. Ti o nějakých Normálních formách snad neslyšeli ani ... no nikde.

[Vojta]

Souhlasím. Bohužel bych přechodem na MS SQL musel přikoupit novej server, protože všechny služby nedokážu migrovat na Win. To by bylo docela drahé - běží tam fileserver, web server, internet gateway, atd. A v neposlední řadě komplikovanější správa (alespoň pro mě).

PHP skripty - máte pravdu, to je opravdu horor. Základem pohromy je šílená struktura databáze. Např. aktuální školní rok je s asi třiceti dalšími proměnnými uložen v jediném řetězci, jednotlivé proměnné v rámci tohoto řetězce jsou určeny tak, že mají pevný index. Skripty by se mohly skvět v muzeu kuriozit v Pelhřimově. Smyčku si pletou s podmínkou. O kontrole obsahu proměnných zadaných klientem nemůže být ani řeči. Logy plné warningů.