abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 11:33 | IT novinky

    IBM kupuje za 11 miliard USD (229,1 miliardy Kč) firmu Confluent zabývající se datovou infrastrukturou. Posílí tak svoji nabídku cloudových služeb a využije růstu poptávky po těchto službách, který je poháněný umělou inteligencí.

    Ladislav Hagara | Komentářů: 0
    dnes 01:55 | IT novinky

    Nejvyšší správní soud (NSS) podruhé zrušil pokutu za únik zákaznických údajů z e-shopu Mall.cz. Incidentem se musí znovu zabývat Úřad pro ochranu osobních údajů (ÚOOÚ). Samotný únik ještě neznamená, že správce dat porušil svou povinnost zajistit jejich bezpečnost, plyne z rozsudku dočasně zpřístupněného na úřední desce. Úřad musí vždy posoudit, zda byla přijatá opatření přiměřená povaze rizik, stavu techniky a nákladům.

    Ladislav Hagara | Komentářů: 4
    včera 18:44 | Komunita

    Organizace Free Software Foundation Europe (FSFE) zrušila svůj účet na 𝕏 (Twitter) s odůvodněním: "To, co mělo být původně místem pro dialog a výměnu informací, se proměnilo v centralizovanou arénu nepřátelství, dezinformací a ziskem motivovaného řízení, což je daleko od ideálů svobody, za nimiž stojíme". FSFE je aktivní na Mastodonu.

    Ladislav Hagara | Komentářů: 32
    včera 17:55 | IT novinky

    Paramount nabízí za celý Warner Bros. Discovery 30 USD na akcii, tj. celkově o 18 miliard USD více než nabízí Netflix. V hotovosti.

    Ladislav Hagara | Komentářů: 3
    včera 13:22 | IT novinky

    Nájemný botnet Aisuru prolomil další "rekord". DDoS útok na Cloudflare dosáhl 29,7 Tbps. Aisuru je tvořený až čtyřmi miliony kompromitovaných zařízení.

    Ladislav Hagara | Komentářů: 5
    včera 12:11 | Nová verze

    Iced, tj. multiplatformní GUI knihovna pro Rust, byla vydána ve verzi 0.14.0.

    Ladislav Hagara | Komentářů: 3
    včera 05:22 | Komunita

    FEX, tj. open source emulátor umožňující spouštět aplikace pro x86 a x86_64 na architektuře ARM64, byl vydán ve verzi 2512. Před pár dny FEX oslavil sedmé narozeniny. Hlavní vývojář FEXu Ryan Houdek v oznámení poděkoval společnosti Valve za podporu. Pierre-Loup Griffais z Valve, jeden z architektů stojících za SteamOS a Steam Deckem, v rozhovoru pro The Verge potvrdil, že FEX je od svého vzniku sponzorován společností Valve.

    Ladislav Hagara | Komentářů: 0
    včera 03:22 | Nová verze

    Byla vydána nová verze 2.24 svobodného video editoru Flowblade (GitHub, Wikipedie). Přehled novinek v poznámkách k vydání. Videoukázky funkcí Flowblade na Vimeu. Instalovat lze také z Flathubu.

    Ladislav Hagara | Komentářů: 0
    7.12. 15:11 | IT novinky

    Společnost Proton AG stojící za Proton Mailem a dalšími službami přidala do svého portfolia online tabulky Proton Sheets v Proton Drive.

    Ladislav Hagara | Komentářů: 12
    6.12. 15:55 | Komunita

    O víkendu (15:00 až 23:00) probíha EmacsConf 2025, tj. online konference vývojářů a uživatelů editoru GNU Emacs. Sledovat ji lze na stránkách konference. Záznamy budou k dispozici přímo z programu.

    Ladislav Hagara | Komentářů: 1
    Jaké řešení používáte k vývoji / práci?
     (34%)
     (48%)
     (19%)
     (17%)
     (22%)
     (15%)
     (24%)
     (16%)
     (18%)
    Celkem 448 hlasů
     Komentářů: 18, poslední 2.12. 18:34
    Rozcestník
    Štítky: není přiřazen žádný štítek


    Vložit další komentář
    27.6.2021 11:50 Matlák
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    Pěkné srovnání a odkazované čtení o hash tabulkách v PHP (ačkoliv se domnívám že PHP se na velké projekty nehodí a ani na velká data ne - třiceti terabajty dat zmíněných v dotazu "3700 tabuliek" bych PHP rozhodně nekrmil :-)), jen to LENGHT tam pěkně tahá za oči, to bych být tebou opravil.
    27.6.2021 11:51 Matlák
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    s/zmíněných/zmíněnými/
    27.6.2021 15:38 z_sk | skóre: 34 | blog: analyzy
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    Ahoj.

    Ono treba poznat limity nastrojov, a bud volit iny alebo zmenit architektiru. Je rozdiel robit softver pre delenie cisiel v textovej forme s dlzkou do 10B na cislo a druhe, ze cislo moze byt nekonecne dlhe (iba limit hardveru). Ja som potom indexoval inac (robene pre nekonecno), lebo PHP a kolko mam RAM sa mi nechcelo riesti.

    No moje porovnavanie dava, co ponuk one box riesenie PHP bez optimalizacii (zo uz zrejme by muselo byt prepisany kod do C, C++ alebo Rust).

    K jeho diskusii. Nepise kolko ma dotazov. Co mne vyslo, tak 11GB databaza pri jeho jednej popisanej struktury ma tabulka 22M zaznamov. Nevyhnutny cas pre import je nacitanie zo suboru a zapisat DB interne. Cize zapisat 2x11GB=2x3,6s (disk 50MB/s). K tomu ak easy riesenie este zotriedenie dat v poli s pametanim kluca, tak nam vychadza pri 22M polozkach zabere 2 229 MB a 36.506s. Ak ma DB velku 11 GB, tak pri 32 GB RAM sa mu to v pohode zmesti do RAM. Takze na nevytazenom systeme to trva aktualizacia dajme 1 minutu. 3600 tabuliek = 2.29 dna v najhorsom pripade. Takze zalezi kolko tabuliek sa akt. Ak je potrebne aktualizovat vela, tak zotriedit v BTree strome a podobne.
    debian.plus@protonmail.com
    27.6.2021 16:21 z_sk | skóre: 34 | blog: analyzy
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    Ach moje pocitanie, oprava:

    zapis (50 MB/s)zotredeniaexport/import (1 DB)export (3300 DB, najhorsi scenar)
    2 x 220 s36,506 s476,5 s18,19 dni
    2 x 220 s0 s440 s16,80 dni

    zapis (200 MB/s)zotredeniaexport/import (1 DB)export (3300 DB, najhorsi scenar)
    2 x 55 s36,506 s38,326 s5,59 dni
    2 x 55 s0 s440 s4,20 dni

    DB ma 11 GB.

    To moze byt rad, ze mu to trva 1 den ked porovna najhorsie scenare. :)
    debian.plus@protonmail.com
    28.6.2021 03:08 z_sk | skóre: 34 | blog: analyzy
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    Správne: Ach moje počítanie, oprava:
    zapis (50 MB/s)zotredeniaexport/import (1 DB)export (3300 DB, najhorsi scenar)
    2 x 220 s36,506 s476,5 s18,19 dni
    2 x 220 s0 s440 s16,80 dni

    zapis (200 MB/s)zotredeniaexport/import (1 DB)export (3300 DB, najhorsi scenar)
    2 x 55 s36,506 s38,326 s5,59 dni
    2 x 55 s0 s110 s4,20 dni

    DB ma 11 GB.

    Hm, prečo interné neukladá si vo vlastnej implementovanej DB ako CVS, ved aj sqlite je vlastne txt subor, iba inak zabalene dáta. Tuším aj nejaká DB (tuším MariaDB) povoľuje ukladať ako CVS.

    Hm, keby sa ešte ukladať dáta zazipované, tak bolo by to menej miesta zaberalo, resp. bolo nutné ukladať.

    Pre 22M záznamov:

    284M	cvs.txt
    111M	cvs.txt.gz

    debian.plus@protonmail.com
    28.6.2021 09:28 samalama
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    prosim vas, ako sa da niekto zakazat na internete...?
    28.6.2021 11:17 t@fu
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    No jednoducho - izolaciou. Nech sa realizuje na jednom fore, napr. na abclinuxu a na zbytok internetu nech nelozi :-)
    Člověk z Horní Dolní avatar 28.6.2021 13:54 Člověk z Horní Dolní | blog: blbeczhornidolni
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    PHP? LOL

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.