abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 09:55 | IT novinky

    Vláda Spojených států se rozhodla vyřadit americkou softwarovou společnost Microsoft a několik dalších velkých technologických podniků z programu, který umožňuje kvalifikovaným zahraničním pracovníkům získat povolení k trvalému pobytu. Oznámila to včera administrativa amerického prezidenta Donalda Trumpa. Opatření zdůvodnila rozsáhlým zneužíváním programu, který je dlouhodobě terčem kritiky ze strany Trumpových příznivců, neboť prý znevýhodňuje americké pracovníky.

    Ladislav Hagara | Komentářů: 0
    dnes 09:44 | IT novinky

    Datové centrum největší ruské technologické společnosti Jandex v Rjazaňské oblasti se stalo cílem dronového útoku a zastavilo provoz. Jandexu se někdy přezdívá „ruský Google“. Provozuje nejoblíbenější internetový vyhledávač v Rusku nebo aplikace pro objednávky jídla a taxi. Využívají jej desítky milionů lidí v rusky mluvících zemích.

    Ladislav Hagara | Komentářů: 0
    dnes 09:33 | Nová verze

    Francouzská společnost Mistral AI představila Mistral Large 4 (interně přezdívaný 'le Chonk', volně přeloženo 'pořádný macek'), 'open-weight multimodální hybridní instruct-and-reasoning model s architekturou granulárního MoE, nativně podporující více jak 160 jazyků'. Model má přes jeden bilión parametrů, z nichž při práci využívá 49 miliard, kontextové okno o délce milion tokenů a obrazový enkodér o 1,6 miliardách parametrů.

    … více »
    ❗Červivý Hřib krade❗ | Komentářů: 0
    dnes 03:22 | Nová verze

    Svobodný multiplatformní herní engine Bevy napsaný v Rustu byl vydán ve verzi 0.20. Díky 227 přispěvatelům.

    Ladislav Hagara | Komentářů: 0
    dnes 03:11 | Komunita

    Simon Long oznámil Raspberry Pi Desktop pro PC a Mac s Intelem postavený na aktualizovaném Debianu 13 Trixie. S klientem Raspberry Pi Connect pro vzdálenou správu. Ke stažení je vedle Raspberry Pi OS pro Raspberry Pi.

    Ladislav Hagara | Komentářů: 0
    včera 21:33 | Zajímavý projekt

    ESP32-C3 adblock přemění lacinou vývojovou desku ESP32‑C3 na samostatný DNS blokovač nejenom reklamních domén, minimalistickou alternativu k populárnímu Pi-hole. ESP32-C3 adblock místo objemných názvů domén ukládá jejich 40-bitové FNV-1a hashe do flash paměti, které pak binárně prohledává, kontrola jedné domény trvá přibližně 10 milisekund. Blocklist pojme až 537 tisíc domén a lze jej spravovat přes webové rozhraní. Projekt zatím

    … více »
    ❗Červivý Hřib krade❗ | Komentářů: 0
    včera 21:00 | Zajímavý software

    ArtCraft je sada open source aplikací pro práci s obrázky a videi "inspirovaných" aplikacemi od Adobe. Napsaných v Rustu. Pro MacOS, Windows i Linux. Běží také ve webovém prohlížeči. Aktuálně se jedná o 7 aplikací: PhotoCraft (Photoshop), VectorCraft (Illustrator), FilmCraft (Premiere Pro), LightCraft (Lightroom), PdfCraft (Acrobat), EffectCraft (After Effects) a DesignCraft (InDesign). Zdrojové kódy jsou k dispozici na GitHubu.

    Ladislav Hagara | Komentářů: 8
    včera 16:33 | Zajímavý software

    Strands Decider 2B je malý open-source model s 2 miliardami parametrů, určený k rychlé klasifikaci vstupů a rozhodování mezi možnostmi, generující odpovědi ve stylu modelu Jev. Strands dosáhl přibližně 72% shody s Jevem na veřejné testovací sadě JevBench (tento benchmark pochopitleně nepředstavuje přímé srovnání s modelem Jev). Zdrojové kódy jsou k dispozici na GitHubu pod licencí Apache-2.0, váhy modelu na Hugging Face.

    ❗Červivý Hřib krade❗ | Komentářů: 3
    včera 16:22 | Upozornění

    Ve věku 90 let zemřela americká softwarová inženýrka Margaret Hamiltonová, která vedla tým, jenž vyvíjel letový software pro program Apollo amerického Národního úřadu pro letectví a vesmír (NASA).

    Ladislav Hagara | Komentářů: 7
    včera 13:33 | Humor

    Japonský Google rozšířil svou kolekci DYI fyzických klávesnic Gboard o klávesnici ve tvaru běžícího pásu. Proč se mají přesouvat ruce po klávesnici, když se mohou přesouvat klávesy k ruce? Pro zájemce je návod na sestavení včetně STL souborů pro 3D tisk a firmware k dispozici na GitHubu.

    Ladislav Hagara | Komentářů: 2
    Které desktopové prostředí na Linuxu používáte?
     (9%)
     (7%)
     (4%)
     (21%)
     (29%)
     (8%)
     (5%)
     (2%)
     (14%)
     (20%)
    Celkem 2817 hlasů
     Komentářů: 31, poslední 13.8. 00:27
    Rozcestník

    Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB

    26.6.2021 21:54 | programovanie | poslední úprava: 26.6.2021 22:21

    Online zde (slovenština).

    Inspirovanou diskusním dotazem „3700 tabuliek“.        

    Hodnocení: 44 %

            špatné • dobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    27.6.2021 11:50 Matlák
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    Pěkné srovnání a odkazované čtení o hash tabulkách v PHP (ačkoliv se domnívám že PHP se na velké projekty nehodí a ani na velká data ne - třiceti terabajty dat zmíněných v dotazu "3700 tabuliek" bych PHP rozhodně nekrmil :-)), jen to LENGHT tam pěkně tahá za oči, to bych být tebou opravil.
    27.6.2021 11:51 Matlák
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    s/zmíněných/zmíněnými/
    27.6.2021 15:38 z_sk | skóre: 34 | blog: analyzy
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    Ahoj.

    Ono treba poznat limity nastrojov, a bud volit iny alebo zmenit architektiru. Je rozdiel robit softver pre delenie cisiel v textovej forme s dlzkou do 10B na cislo a druhe, ze cislo moze byt nekonecne dlhe (iba limit hardveru). Ja som potom indexoval inac (robene pre nekonecno), lebo PHP a kolko mam RAM sa mi nechcelo riesti.

    No moje porovnavanie dava, co ponuk one box riesenie PHP bez optimalizacii (zo uz zrejme by muselo byt prepisany kod do C, C++ alebo Rust).

    K jeho diskusii. Nepise kolko ma dotazov. Co mne vyslo, tak 11GB databaza pri jeho jednej popisanej struktury ma tabulka 22M zaznamov. Nevyhnutny cas pre import je nacitanie zo suboru a zapisat DB interne. Cize zapisat 2x11GB=2x3,6s (disk 50MB/s). K tomu ak easy riesenie este zotriedenie dat v poli s pametanim kluca, tak nam vychadza pri 22M polozkach zabere 2 229 MB a 36.506s. Ak ma DB velku 11 GB, tak pri 32 GB RAM sa mu to v pohode zmesti do RAM. Takze na nevytazenom systeme to trva aktualizacia dajme 1 minutu. 3600 tabuliek = 2.29 dna v najhorsom pripade. Takze zalezi kolko tabuliek sa akt. Ak je potrebne aktualizovat vela, tak zotriedit v BTree strome a podobne.
    debian.plus@protonmail.com
    27.6.2021 16:21 z_sk | skóre: 34 | blog: analyzy
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    Ach moje pocitanie, oprava:

    zapis (50 MB/s)zotredeniaexport/import (1 DB)export (3300 DB, najhorsi scenar)
    2 x 220 s36,506 s476,5 s18,19 dni
    2 x 220 s0 s440 s16,80 dni

    zapis (200 MB/s)zotredeniaexport/import (1 DB)export (3300 DB, najhorsi scenar)
    2 x 55 s36,506 s38,326 s5,59 dni
    2 x 55 s0 s440 s4,20 dni

    DB ma 11 GB.

    To moze byt rad, ze mu to trva 1 den ked porovna najhorsie scenare. :)
    debian.plus@protonmail.com
    28.6.2021 03:08 z_sk | skóre: 34 | blog: analyzy
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    Správne: Ach moje počítanie, oprava:
    zapis (50 MB/s)zotredeniaexport/import (1 DB)export (3300 DB, najhorsi scenar)
    2 x 220 s36,506 s476,5 s18,19 dni
    2 x 220 s0 s440 s16,80 dni

    zapis (200 MB/s)zotredeniaexport/import (1 DB)export (3300 DB, najhorsi scenar)
    2 x 55 s36,506 s38,326 s5,59 dni
    2 x 55 s0 s110 s4,20 dni

    DB ma 11 GB.

    Hm, prečo interné neukladá si vo vlastnej implementovanej DB ako CVS, ved aj sqlite je vlastne txt subor, iba inak zabalene dáta. Tuším aj nejaká DB (tuším MariaDB) povoľuje ukladať ako CVS.

    Hm, keby sa ešte ukladať dáta zazipované, tak bolo by to menej miesta zaberalo, resp. bolo nutné ukladať.

    Pre 22M záznamov:

    284M	cvs.txt
    111M	cvs.txt.gz

    debian.plus@protonmail.com
    28.6.2021 09:28 samalama
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    prosim vas, ako sa da niekto zakazat na internete...?
    28.6.2021 11:17 t@fu
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    No jednoducho - izolaciou. Nech sa realizuje na jednom fore, napr. na abclinuxu a na zbytok internetu nech nelozi :-)
    Člověk z Horní Dolní avatar 28.6.2021 13:54 Člověk z Horní Dolní | blog: blbeczhornidolni
    Rozbalit Rozbalit vše Re: Benchmark hašovacích tabuliek v PHP cez jednod. key-value DB
    PHP? LOL

    Založit nové vlákno • Nahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.