Inzerujte na AbcPráce.cz od 950 Kč

napište » Zprávičky

Rust 1.98.0

21.8. 05:00 | Nová verze

Byla vydána verze 1.98.0 programovacího jazyka Rust (Wikipedie). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

Ladislav Hagara | Komentářů: 0

WordPress 7.1 Mary Lou

21.8. 04:22 | Nová verze

Byla vydána nová verze 7.1 (YouTube) svobodného open source redakčního systému WordPress. Kódové jméno Mary Lou bylo vybráno na počest americké jazzové klavíristky Mary Lou Williams (YouTube).

Ladislav Hagara | Komentářů: 0

Bun 1.4

20.8. 19:11 | Nová verze

Bun (Wikipedie), tj. běhové prostředí (runtime) a toolkit pro JavaScript a TypeScript, alternativa k Node.js a Deno, byl vydán ve verzi 1.4. Představení novinek také na YouTube. Bun byl přepsán z programovacího jazyka Zig do Rustu. Pomocí Claude Fable 5.

Ladislav Hagara | Komentářů: 0

KDE Gear 26.08

20.8. 12:33 | Nová verze

Vývojáři KDE na Mastodonu oznámili vydání balíku aplikací KDE Gear 26.08. Přehled novinek i s náhledy a videi v oficiálním oznámení.

Ladislav Hagara | Komentářů: 0

PINE64 dočasně pozastavuje výrobu linuxových zařízení

20.8. 04:11 | IT novinky

Společnost PINE64 kvůli nedostatku a vysokým cenám DRAM a eMMC dočasně pozastavuje výrobu linuxových zařízení. Výroba zařízení jako PineTime, PineVoice a Pinecil pokračuje.

Ladislav Hagara | Komentářů: 0

Společnost Stripe se dohodla na akvizici společnosti OpenRouter

20.8. 02:55 | IT novinky

Společnost Stripe se dohodla na akvizici společnosti OpenRouter. Za 7,5 miliardy dolarů.

Ladislav Hagara | Komentářů: 0

Go 1.27

20.8. 01:33 | Nová verze

Byla vydána nová verze 1.27 programovacího jazyka Go (Wikipedie). Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0

Mobile Linux Hackday #8 v Praze v novém SUSE office

19.8. 16:00 | Pozvánky

V pátek 28. srpna se v Praze uskuteční již osmý Mobile Linux Hackday. Jako obvykle se potkáme v pražské pobočce SUSE v Karlíně na Křižíkově, takže kromě mobilního Linuxu je to tentokrát i příležitost přijít se podívat na nově zrekonstruované kanceláře. Začínáme v 10:00, ale dorazit můžete samozřejmě kdykoliv v průběhu dne. Setkáním vás provede Petr Hodina, vývojář GPU ovladačů v Mesa 3D a jeden z hlavních lidí české komunity kolem mobilního … více »

lkocman | Komentářů: 0

Raspberry Pi Compute Module 5 Programming Jig

19.8. 14:11 | IT novinky

Představen byl Raspberry Pi Compute Module 5 Programming Jig. Jedná se o zařízení umožňující připravit Compute Module 5 do plně funkčního stavu bez nutnosti použití dalších vstupně / výstupních desek. Podporuje automatizaci pomocí nástroje rpi-sb-provisioner. Podrobnosti v dokumentaci.

Ladislav Hagara | Komentářů: 6

Hackeři ve Francii ukradli data více než půl milionu daňových poplatníků

19.8. 05:55 | IT novinky

Hackeři ve Francii ukradli data více než půl milionu daňových poplatníků. Je to jeden z největších hackerských útoků v dějinách země. O útoku z konce června informovala až teď daňová správa. Teprve od pondělí dotčeným občanům zasílá e-maily s instrukcemi, jak postupovat dál. Hackeři se sice nedostanou k penězům dotyčných, hrozí ale věrohodné podvody. Hackeři získali třeba celá jména, údaje o rodinných příslušnících nebo také údaje o

… více »

Ladislav Hagara | Komentářů: 23

Centrum | Napsat | Starší

navrhněte » Anketa

Komentářů: 31, poslední 13.8. 00:27

Rozcestník

AbcLinuxu

HDmag.cz

Administrace komentářů

Jste na stránce určené pro řešení chyb a problémů týkajících se diskusí a komentářů. Můžete zde našim administrátorům reportovat špatně zařazenou či duplicitní diskusi, vulgární či osočující příspěvek a podobně. Děkujeme vám za vaši pomoc, více očí více vidí, společně můžeme udržet vysokou kvalitu AbcLinuxu.cz.

Příspěvek

27.7.2021 19:03 EtDirloth | skóre: 11
Rozbalit Rozbalit vše Re: 3700 tabuliek

Ako uz bolo napisane, tabulka per databazu, ci dokonca per cluster je pristup realizovatelny aj v postgrese. Potom cez FDW mozno vyriesit efektivny pristup k shardom.

Vykon importu dat do pgsql sa da ladit roznymi sposobmi - od naznaceneho drop/create indexu pred a po importe, cez prvotny raw import do docasnej tabulky za vyuzitia server side COPY alebo psql \copy alebo cez file_fdw, nasledny import do cielovej tabulky vo forme zlozitejsieho insert selectu, a tiez kombinaciou vsetkych.
Zo skusenosti s bottleneckmi pri importe - mohol byt nevhodne napisany UPSERT (on conflict...) namiesto selektivneho insertu iba novych dat a updatu iba existujucich, resp. pouzitie inych foriem pomalych constraintov; najhorsi pristup, co som kedy videl bol foreach v nejakej procke.
HDD overhead cisto texty obsahujucej databazy oproti CSV je logicky: DB musi okrem hodnot ukladat aj dlzky hodnot, indexy (to si jeden proste nepomoze - ak je dovod mat index, tak to zerie disk) a samozrejme mrtve riadky kvoli MVCC a casom aj index bloat. Dalsim dovodom vsak mohla byt denormalizacia a nevhodne zvolene datove typy (varchar->int alebo ->jsonb).
Za cenu vyssieho naroku na diskovu kapacitu, je mozne v zavislosti od dat a dotazov zvysit rychlost r/w pristupu cez vertikalny partitioning.
S postgresom by sa vam lahsie vyuzili moznosti paralelneho spracovania dotazov.

To sqlite riesenie vsak vyzera elegantne a ak vam vyhovuje, tak nie je co riesit. Ak potrebujete dalej skalovat, potom zvazte dalsi level shardingu, kedy najpocetnejsie prefixy rozbijete na mensie tabulky, pricom datovu integritu zabezpecite na aplikacnej urovni pocas importu. Tiez sa da uplatnit (opat v zavislosti na povahe a pouziti dat) vertikalny partitioning - teda u vas skor vertikalny sharding => rozne stlpce toho isteho prefixu v roznych tabulkach - u vas sqlite databazach - spajanych cez datovo a vypoctovo nenarocne integer ID (na ktore si v dalsej tabulke/databaze prelozite ten hrozny VARCHAR(38)).

Ja by som import (t.j. write) riesil cez copy-on-write. Idealne cez spominane SSH. A to tak, ze by som importoval do kopie aktualnej verzie databazy a na NFS ju zverejnoval premenovanim (snapshot FS?). Nevyhodou by mohlo byt, ze pocas importu by sa priebezne zapisalo na disk viac nez raz tolko dat, ako tam uz bolo - takze by sa asi rychlejsie zodrali - ale tak disky su lacne :P

Ak je spracovanie (read) vzdy riesene cez download a lokalny pristup, tak by mozno stala za zvazenie p2p distribucia - cez lokalnu torrent siet.

Skoda, ze nevidime priklad dat a dotazov nad nimi. Mozno by sa ukazali cesty smerujuce k vyssim normalnym formam.

V tomto formuláři můžete formulovat svou stížnost ohledně příspěvku. Nejprve vyberte typ akce, kterou navrhujete provést s diskusí či příspěvkem. Potom do textového pole napište důvody, proč by měli admini provést vaši žádost, problém nemusí být patrný na první pohled. Odkaz na příspěvek bude přidán automaticky.

Offtopic diskuse použijte pro diskusi mimo záběr našeho portálu (včelařství, windows), která by měla být smazána.
Duplicitní diskuse je určena pro případ, kdy uživatel odeslal svůj dotaz několikrát.
Návrh na cenzuru použijte, pokud komentář obsahuje urážky, vulgarismy nebo porušuje zákony.
Návrh na smazání komentáře je velmi neobvyklá akce používaná obvykle při nepovolené reklamě či spamu, výkřicích psychicky nemocných jedinců (ještírci) nebo pro smazání duplikátních komentářů.
Oprava formátování je žádost pro úpravu formy příspěvku, například pokud někdo píše bez odstavců nebo použije PRE pro celý komentář. Žádosti o změnu obsahu budou zamítnuty.

Vaše jméno
Váš email
Typ požadavku

Slovní popis