Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB

26.6.2021 21:54 | programovanie | poslední úprava: 26.6.2021 22:21

Online zde (slovenština).

Inspirovanou diskusním dotazem „3700 tabuliek“.        

Komentáře

[Matlák]

Pěkné srovnání a odkazované čtení o hash tabulkách v PHP (ačkoliv se domnívám že PHP se na velké projekty nehodí a ani na velká data ne - třiceti terabajty dat zmíněných v dotazu "3700 tabuliek" bych PHP rozhodně nekrmil ), jen to LENGHT tam pěkně tahá za oči, to bych být tebou opravil.

[Matlák]

s/zmíněných/zmíněnými/

[debian+]

Ahoj.

Ono treba poznat limity nastrojov, a bud volit iny alebo zmenit architektiru. Je rozdiel robit softver pre delenie cisiel v textovej forme s dlzkou do 10B na cislo a druhe, ze cislo moze byt nekonecne dlhe (iba limit hardveru). Ja som potom indexoval inac (robene pre nekonecno), lebo PHP a kolko mam RAM sa mi nechcelo riesti.

No moje porovnavanie dava, co ponuk one box riesenie PHP bez optimalizacii (zo uz zrejme by muselo byt prepisany kod do C, C++ alebo Rust).

K jeho diskusii. Nepise kolko ma dotazov. Co mne vyslo, tak 11GB databaza pri jeho jednej popisanej struktury ma tabulka 22M zaznamov. Nevyhnutny cas pre import je nacitanie zo suboru a zapisat DB interne. Cize zapisat 2x11GB=2x3,6s (disk 50MB/s). K tomu ak easy riesenie este zotriedenie dat v poli s pametanim kluca, tak nam vychadza pri 22M polozkach zabere 2 229 MB a 36.506s. Ak ma DB velku 11 GB, tak pri 32 GB RAM sa mu to v pohode zmesti do RAM. Takze na nevytazenom systeme to trva aktualizacia dajme 1 minutu. 3600 tabuliek = 2.29 dna v najhorsom pripade. Takze zalezi kolko tabuliek sa akt. Ak je potrebne aktualizovat vela, tak zotriedit v BTree strome a podobne.

[debian+]

Ach moje pocitanie, oprava:

zapis (50 MB/s)	zotredenia	export/import (1 DB)	export (3300 DB, najhorsi scenar)
2 x 220 s	36,506 s	476,5 s	18,19 dni
2 x 220 s	0 s	440 s	16,80 dni

zapis (200 MB/s)	zotredenia	export/import (1 DB)	export (3300 DB, najhorsi scenar)
2 x 55 s	36,506 s	38,326 s	5,59 dni
2 x 55 s	0 s	440 s	4,20 dni

DB ma 11 GB.

To moze byt rad, ze mu to trva 1 den ked porovna najhorsie scenare. :)

[debian+]

Správne: Ach moje počítanie, oprava:

zapis (50 MB/s)	zotredenia	export/import (1 DB)	export (3300 DB, najhorsi scenar)
2 x 220 s	36,506 s	476,5 s	18,19 dni
2 x 220 s	0 s	440 s	16,80 dni

zapis (200 MB/s)	zotredenia	export/import (1 DB)	export (3300 DB, najhorsi scenar)
2 x 55 s	36,506 s	38,326 s	5,59 dni
2 x 55 s	0 s	110 s	4,20 dni

DB ma 11 GB.

Hm, prečo interné neukladá si vo vlastnej implementovanej DB ako CVS, ved aj sqlite je vlastne txt subor, iba inak zabalene dáta. Tuším aj nejaká DB (tuším MariaDB) povoľuje ukladať ako CVS.

Hm, keby sa ešte ukladať dáta zazipované, tak bolo by to menej miesta zaberalo, resp. bolo nutné ukladať.

Pre 22M záznamov:

284M	cvs.txt
111M	cvs.txt.gz

[samalama]

prosim vas, ako sa da niekto zakazat na internete...?

[t@fu]

No jednoducho - izolaciou. Nech sa realizuje na jednom fore, napr. na abclinuxu a na zbytok internetu nech nelozi

[Člověk z Horní Dolní]

PHP? LOL