Dotaz: MySQL transakce

[Kit]

Po dlouhé době jsem si řekl, že opět vyzkouším MySQL. Provedl jsem operace:

START TRANSACTION;
CREATE TABLE tabulka (ID integer primary key) ENGINE=InnoDB;
INSERT INTO tabulka (ID) VALUES (5);
ROLLBACK;

Podle předchozích zkušeností s PostgreSQL i SQLite měla tabulka zmizet. Nezmizela. Zůstala v ní uložena všechna data.

Je to chyba nebo vlastnost MySQL 5.1.37? Mám někde chybu?

---

---

Odpovědi

[Kit]

Odpovím si sám:

Příkaz CREATE TABLE obsahuje i skrytý příkaz COMMIT, který transakci ukončí. No jo, MySQL...

[Michal Kubeček]

To ale nevysvětluje, proč v tabulce zůstala i data. Ať už se po DDL příkazu provedl "commit retaining" nebo se pro následující insert automaticky otevřela nová transakce, měl by rollback zrušit ten insert a tabulka by měla být prázdná.

[Kit]

Jenže se nová transakce neotevřela a podle manuálu ani neměla. Prostě za každým CREATE TABLE nebo podobným příkazem je umístěn neviditelný COMMIT. Víc nic.

[Michal Kubeček]

A v jaké transakci tedy proběhl ten insert? A na jakou transakci se pak vztahoval ten rollback?

[Kit]

Příkaz CREATE TABLE ukončil otevřenou transakci neviditelným příkazem COMMIT. To znamená, že žádná transakce pak otevřena nebyla. Příkaz INSERT proběhl ve vlastní lokální transakci. Když není otevřena žádná transakce, ROLLBACK neudělá nic. Ani nehlásí chybu.

[Michal Kubeček]

Slovy klasika: "To dává slovu hrůza nový rozměr." :-)

[poky74]

Chybu mas v tom, ze ze zkusenosti z jine databaze vyvozujes, co by mela delat MySQL - zde plati otrepane RTFM. Napriklad v Oracle take nejde create table (obecne DDL operace) rollbackovat.

[Kit]

Obecně by to snad SQL databáze měla umět.

Přišel jsem k tomu náhodou, když jsem testoval podmíněný insert do tabulky a nechal jsem create table uvnitř transakce. Obojí už mám vyřešeno, ten podmíněný insert nakonec funguje atomicky i bez transakčních závorek.

[jkb]

Obecně by to snad SQL databáze měla umět.

V 90letech se vypravel v IT nasledujici vtip:

'Pouzivate uz take SQL standard?'

'... a ktery z nich myslite?'

[kuka]

A procpak by to mela umet? Standard to AFAIK nevyzaduje.

[Radim Kolar]

V DB2 to funguje i kdyz neni doporucovano teto funkcionality vyuzivat kvuli tomu ze transakce pak drzi zamky v systemovem katalogu.

db2 => update command options using c off
DB20000I  Příkaz UPDATE COMMAND OPTIONS byl úspěšně dokončen.
db2 => create table tabulka(id integer not null primary key)
DB20000I  Příkaz SQL byl úspěšně dokončen.
db2 => insert into tabulka(id) values(5)
DB20000I  Příkaz SQL byl úspěšně dokončen.
db2 => rollback
DB20000I  Příkaz SQL byl úspěšně dokončen.
db2 => select * from tabulka
SQL0204N  Název "MAJITEL.TABULKA" není definován.  SQLSTATE=42704
db2 =>

V Oracle to nejde. Tam create table udela commit.

[VM]

Takže:

• aby transakce fungovaly, tak se musí vypnout autocommit
• pokud si dobře pamatuji, tak transakce fungují jen s některými enginy, např. InnoDB
• i pak rollback zruší jen poslední insert, protože "create table" dělá autocommit

[SPM]

Nechci zakládat flame, ale čim dál víc mám pocit, že vývojáři mysql vždycky něco nabastlí, jen aby si mohli napsat stejné features, jako normální databáze...

[Heron]

Na druhou stranu toto je dokumentované chování.

[kuka]

Asi tak. Navic DDL proste neni totez co DML a jeho transakcnost ma v aplikacich omezene vyuziti. I u tech databazi, ktere to umi, se to obvykle nedoporucuje v ostrem nasazeni pouzivat, protoze to muze kvuli zamkum na internich strukturach databaze degradovat vykonnost apod.

[Michal Kubeček]

Ač nemohu být podezírán z přehnaných sympatií k MySQL, tohle bych jí nevyčítal:

1. Transakce (předpokládám) fungují i se zapnutým autocommitem, jen se to pak chová, jako byl každý příkaz v samostatné transakci. Ono je potřeba chápat, že hlavní smysl transakcí umožnit vrátit sérii příkazů, když uděláte chybu, ale řešit kolize mezi paralelně přistupujícími klienty a umožnit i v takovém prostředí udržet integritu dat a atomicitu operací. Je potřeba si uvědomit, že ani to, co navenek vypadá jako "jeden příkaz", není obecně atomická operace, která se buď celá provede nebo celá neprovede.

2. To by mi až tak nevadilo, víc mne děsí důsledek tohoto faktu: že se transakční zpracování může týkat jen některých tabulek v databázi. Na druhou stranu, je jen na vás, jestli této možnosti využijete. Svědčí to ale o tom, že u MySQL jsou transakce pořád brány jako jakýsi bonus navíc, ne jako základní princip fungování databáze.

3. Jiné databáze (aspoň některé) umožňují necommitovat automaticky DDL příkazy, ale ani tam se nedoporučuje této možnosti systematicky využívat. Relační databáze vesměs nejsou moc stavěné na časté změny struktury a stavět aplikaci na tom, že to bude fungovat, bych se nezdráhal označit za zásadní designovou chybu.

[SPM]

1. no, někdy se to zase hodí... pokud je třeba do více tabulek narvat nějaká data, která na sobě závisí (mají mezi sebou relace, apod.), má celkem smysl mít jeden commit až po všech insertech - aby některý z klientů neviděl část nových dat, když tam zbytek ještě není... to mi přijde jako jeden z důvodů, proč to tvořit jako jednu transakci; nicméně pokud se každý příkaz commitne sám, nedává to moc smysl...

2. celkem sranda je navíc to, že různé enginy mají různé omezení... pokud se rozhodnete databázi přesunout na jiný db stroj a použít třeba innodb, aby to bylo jednotné, můžete taky snadno narazit na to, že danou db do innodb bez nějaké zásadní úpravy designu nepřevedete... navíc mi skoro přijde, že mít v jednom RDBMS x různých storage enginů, kterému se navíc každému zvlášť nastavují parametry, je dobré akorát na vytvoření pěkného guláše :)

[Kit]

1. Transakce na MyISAM částečně fungují. Když jsem otevřel transakci, vložil záznam a pak dal ROLLBACK, záznam zmizel. Zajímavé bylo, že mezitím ten záznam byl vidět z jiných vláken, takže je to skutečně jen částečné.

Pokud dotaz není uzavřen do transakce, měl by se obalit vlastní transakcí z důvodu zachování integrity. Pokud se mi tohle chování nelíbí, mám možnost si otevřít vlastní transakci a commitovat jak to zrovna potřebuji.

2. MySQL je zajímavá různými enginy. Překvapil mě běžně podporovaný engine Archive se svou transparentní kompresí. Na záznamy prohledávané %LIKE% se určitě hodí lépe než ty ostatní. MyISAM se zase hodí lépe na generování stránek, InnoDB na transakční zpracování, Memory na dočasné key->value tabulky.

Dokonce ten guláš může dohromady pěkně fungovat, zejména pokud vyberu pro každé použití ten správný engine. Popis zboží v e-shopu může být docela dobře v MyISAM, ale zpracování objednávek lépe sluší InnoDB. Transakční logy mohou být ukládány do Archive, editování rozpracované objednávky bude rychlejší v Memory.

[Heron]

Jenže, tohle nikdy nenastavíte správně.

MySQL jsem opustil po napsání této recenze dobré knihy MySQL optimalizace pro vysoký výkon.

Vysvětlím proč. Ty pluginy (engine) vypadají na první pohled jako fajn nápad. Tak jak jsi to popsal, to na papíře vypadá docela dobře. Jenže v praxi narazíš na chování typu:

- Při startu mysql serveru nenajel InnoDB (chyba v konfiguraci jeho parametrů). MySQL ovšem jede (start služby OK), do logu akorát napíše skip-innodb. Nic neindikuje chybu a co hůř, všechno funguje (zejména import obnovené zálohy). Tabulky (které jsou v záloze jako engine=innodb) se bez varování (!!!) vytvoří jako MYISAM. Příkazy jako BEGIN, COMMIT, ROLLBACK se tiše (!!!) ignorují. Data podléhají sillent corruption.

- Replikace fungují pouze s InnoDB, pouze s určitou verzí MySQL a pouze v určitém nastavení InnoDB. Jinak fungují taky, to ano. Jenže data na replice poněkud neodpovídají datům na masteru. Opět, nikde žádná chyba.

Po tomhle všem (a spoustě dalších) si řeknete, že teda dobře nastavíte InnoDB a všechno bude používat pouze tento engine. Jenže ouha, všechny diskové temporary tabulky jsou typu MYISAM. Takže fajné InnoDB, které má nastaveno 666GB paměti a jede rychle, ale jakmile se začně požadovat temporary na disku, tak je výkon zase v hajzlu. Takže začnete řešit MYISAM (kterého jste se nezbavili vs InnoDB). A to už je neřešitelné.

Takže ty engine fungují pouze tehdy, když jde o samostatné tabulky (bez referenčních vazeb, což projistotu opět umí jen InnoDB) a přistupuje k nim jeden uživatel (protože nefungují transakce a hlavně transakční izolace).

Výsledek je, že mnohem raději používám software, který dělá jen jednu věc, ale za to pořádně. To aplikační schéma, které jsi popsal, můžu krásně nahradit: *SQL jako jádro, memcached jako key-value cache a na aplikační logy třeba nějakou dokumentovou DB (podle toho, co s nimi chci dělat).

Výkon vyladím mnohem snadněji a jako bonus si můžu ty služby rozhodit na více HW.

[Kit]

Díky za skvělý popis. MySQL jsem dosud používal jen pro experimenty a jeden malý projekt. U toho asi také zůstanu. Na instantní použití a na weby mi vyhovuje SQLite, na KVS zase DB4 nebo GDBM. Jsou dostupné i na free hostingu a podají mnohem lepší výkon než MySQL. Pokud bych šel do velkého projektu s potřebou transakcí, použiji PostgreSQL.

[Heron]

Skvělá volba. Dnes se dost lidí upíná na MySQL jako jediná možná DB a ty ostatní se zapomíná. Přitom Berkeley DB je nejpoužívanější na světě. SQLite je součástí php, takže snad ten tlak na MySQL postupně opadne. PostgreSQL je jasná volba.

[Michal Kubeček]

Ad 1. Aby nedošlo k nedorozumění, samozřejmě vím, že je spousta situací (spíš bych řekl většina), kdy je autocommit na závadu. Chtěl jsem jen upozornit, že i se zapnutým autocommitem mají transakce smysl a že se rozhodně nedá tvrdit, že "aby transakce fungovaly, tak se musí vypnout autocommit".