MySQL, Python, Archív?

1.7.2008 16:18 | Přečteno: 1092× | Nezařazené | poslední úprava: 1.7.2008 16:49

Pracuju teď na jednom malým prográmku(skriptíku), který bude prostě zpracovávat určitá data a naplňovat těmi daty databázi. Jak název napovídý zvolil jsem python. Moc v něm zkušený nejsem, ale pár drobností jsme si v pythonu zkoušel. Udělat si parser na data nebyl problém. Z vybraných dat si vytvářím soubor, který obsahuje informace, které budou importem přeneseny do databáze, toto vše funguje OK.

Ale narazil jsem i na potíž. Script bude fungovat tak, že v určitým intervalu se připojí na databázi odkud stáhne data, která jsou v binární formě v tar.gz archivu, data rozbalí a pak je teprve začne číst a parsovat. Můj problém spočívá v tom že nevím jak si toto prostředí nasimulovat. Tím myslím že bych potřeboval poradit jak do mysql databáze dostat ten archív, abych pak mohl zkusit ty data vydolovat a rozbalit.

Tak bych se chtěl zeptat, zda se nenajde někdo kdo má větší skills a dokázal by mi poradit, jak nacpat archív do databáze.

UPDATE: Tak už mi to funguje

       

Komentáře

[alblaho]

Tak úplně mi není jasné, na co se ptáš.

Taková data musí být v MySQL uložená jako BLOB. Myslím, že MySQL neumí ten BLOB číst nějakým kurzorem, takže se ti to v tom Pythonu bude jevit jako gigantický řetězec.

[kozzi]

No data to předává v tuple z něj jsem si vzal tu část co potřebuji a dal ji zapsat v binární podobě a hle archív je funkční. Díky za nakopnutí ohledně toho blob.

[mess]

A nebylo by lepší ty archivy zapsat někam do souborového systému a do MySQL uložit jen cestu k nim?

[kozzi]

No to kde budou data na me nezavisi, ale zkusim to protlacit, vzhledem ktomu jak moc velky by ten soubor mohl bejt.

[Heron]

Já na to asi napíšu nějaký benchmark. Co jsem četl pro MSSQL, tak do určité velikosti (zkusím to najít) bylo lepší (rychlejší) ukládat do DB jako BLOB, než na FS (NTFS).

Celkem by mě zajímalo jak je to pro kombinaci MySQL (MYISAM, i když innodb tak taky zarhnu) a ext3.

[Heron]

Tak jsem to našel to BLOB or not to BLOB. Podle tohoto PDF je pro různé stavy a počty přepisů daných DB rychlejší než FS pro BLOBy o velikost 1MB (resp. 300kB po několikátém přepsání záznamu). Teď ještě zjistit jak je to pro ext3.

[Miloslav Ponkrác]

Jenže do databáze se dá přistoupit odkudkoli, zatímco třeba vzdáleně musíte mít na filesystém práva. A dále já do MySQL ukládal mnoho terabajtů dat namísto do souborů do databáze a musím říct, že výkon byl velice dobrý, tipnul bych si odvážně říct, že databáze mnohokrát vracela data rychleji, než filesystém.

[kozzi]

A nesetkal si se někdy s touto hláškou?

Got a packet bigger than 'max_allowed_packet' bytes

Samozrejme max_allowed_packet je nastaven na dostatecne velkou hodnotu. Zkousel jsme i to udelat takto:

mysql databaze -uUser -pHeslo -hIP --max_allowed_packet=100M < data

Bohuzel nic nezabira.

[mess]

Kdyby se použil FTP server, tak by stačilo mít login do DB a login na FTP a nějaká práva nás nemusí zajímat (teda samozřejmě musí mít ten FTP server přístup k těm souborům).

[alblaho]

No fuj, FTP, nejohavnější protokol ze všech

Ono na tom "data patří do databáze" něco bude

[Ladicek]

Ono na tom "data patří do databáze" něco bude

To bych souhlasil. Ale jenom proto, že jsi nepoužil slovo relační

Souborový systém je databáze svého druhu, troufám si tvrdit. A čekal bych, že pro podobné způsoby využití bude líp optimalizovaná než běžná relační databáze. MyISAM zase určitě není běžná relační databáze

[kozzi]

Jo jenze to by musel bezet ftp navic. Ale velkou vyhodou toho ze jsou data v databazi je i to ze krom samotnyho souboru jso tam polozky jako treba ZPRACOVANO coz oznacuje stav, zda uz byl dany soubor mym skriptem zpracovan, coz je velka vyhoda.