Dotaz: mysql zamedzenie znižovaniu výkonu odstraňovaním nepotrebných riadkov

[monty]

ahojte, potreboval by som poradiť s týmto. V crone sa mi spúšťajú súbory (denne niekoľko tisíckrát rôzne súbory sa spustia). Po spustení každého súboru sa automaticky do db zapíše čas spustenia (prvý riadok na začiatku súboru) a po jeho ukončení sa zapíše čas ukončenia (posledný riadok na konci súboru php). Mám to tak preto, aby som vedel, keď niektorý súbor nedobehne do konca (napr.kvôli chybe, utne ho server, vyprší doba behu skriptu, atď). Týmto sa mi ale zbytočne plní databáza a po roku tam bude niekoľko miliónov riadkov, veľké auto increment idečka, skrátka bude veľká. Z môjho pohľadu ma nezaujímajú riadky v databáze, ktoré majú zapísaný začiatok i koniec behu súboru, lebo tým pádom je jasné, že súbor sa ukončil korektne. Moja myšlienka (laická) je taká, že by sa mala od týchto riadkov čas od času databáza odľahčiť, teda mohli by byť zmazané a zostať len tie riadky, ktoré napr. nemajú zapísanú hodnotu ukončenia (tých je úplné minimum). Ako by som to mal spraviť, aby databáza zbytočne nebola zaťažovaná riadkami, ktoré ma nezaujímajú? Čo radíte? Asi by bolo dobré aj nejako poupratovať auto increment hodnotu, aby zbytočne po vymazaní riadkov nepočítala a nezapisovala miliónové čísla, keď tie pred nimi sú voľné. Ďakujem za vaše rady už teraz.

---

---

Odpovědi

[monty]

Autoincrement neřeš. Miliardová čísla ID nejsou na závadu.

Začátek skriptu můžeš udělat jako INSERT SET zacatek=now() a konec UPDATE SET konec=now().

Při ukončení skriptu můžeš záznam smazat. Zůstanou jen neukončené.

Pokud už máš tabulku naplněnu, pošli sem strukturu. Dá se to udělat celkem snadno přes spojení tabulky na sebe samu.

Zvaž, jestli je na tuto úlohu nutná databáze a zda je nutné použít zrovna MySQL.

[l0gik]

Databáze je ideální, protože kdyby to psal někam do souboru atd., tak musí řešit konkurenci. Tak max ještě nějaká nosql databáze možná, ale proč nad tím mudrovat, když v mysql to je rychle a bez problémů.

[monty]

• Udělej autoincrement bigint a o jeho hodnotu se nestarej. Je jedno, jak je velkej a jestli v něm jsou či nejsou díry. Výkonnostně je to už úplně jedno.
• Pokud úspěšné běhy logovat nepotřebuješ, zapisuj si do databáze i pid a místo zápisu času ukončení rovnou odmaž záznam s daným pid.
• Několik milionů řádků pro databázi nic neznamená, nemusíš to řešit vůbec.

[monty]

ďakujem Vám za obom za usmernenie. Teší ma, že to pre db nebude problém. zase som o niečo chytrejší

[kuka]

Pri tomto scenari tam muzes mit stovky milionu radku a bude to z hlediska vykonu pri zapisu asi celkem fuk (analyticke dotazy - pokud tam jsou potreba - jsou jina kapitola). Ale samozrejme treba zalohy ti usnadni, kdyz budes stara nepotrebna data cas od casu mazat.

[VM]

O limitech tabulky v MySQL: http://dev.mysql.com/doc/refman/4.1/en/full-table.html

[Kit]

Na druhou stranu je zbytečné udržovat data o kterých vím, že je nebudu potřebovat. Na zmíněnou úlohu by stačilo nějaké jednoduché KVS, relační databáze bych nechal pro jiné účely.

[monty]

čo znamená prosím KVS?

[Kit]

KVS je myšleno Key-Value Store. Databáze, do které se data ukládají pouze ve formě klíč->hodnota. Jinou strukturu nemá, záleží na fantazii a schopnostech programátora. Obvykle bývá velmi rychlá, řádově rychlejší než běžné relační databáze. V PHP jsou běžně dostupné např DB4 nebo GDBM a dost se na ně zapomíná.

Jiným označením KVS je asociativní pole.

[monty]

vďaka za vysvetlenie