Přihlášení | Registrace

napište » Zprávičky

Pingora 0.2.0

11.5. 18:22 | Nová verze

Byla vydána verze 0.2.0 v Rustu napsaného frameworku Pingora pro vytváření rychlých, spolehlivých a programovatelných síťových systémů. Společnost Cloudflare jej letos v únoru uvolnila pod licencí Apache 2.0.

Ladislav Hagara | Komentářů: 0

xrdp 0.10.0

10.5. 19:11 | Nová verze

Open source RDP (Remote Desktop Protocol) server xrdp (Wikipedie) byl vydán ve verzi 0.10.0. Z novinek je vypíchnuta podpora GFX (Graphic Pipeline Extension). Nová větev řeší také několik bezpečnostních chyb.

Ladislav Hagara | Komentářů: 14

Rocky Linux 9.4

10.5. 04:11 | Nová verze

Rocky Linux byl vydán v nové stabilní verzi 9.4. Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0

Dellu byla odcizena databáze zákazníků

9.5. 22:22 | Bezpečnostní upozornění

Dellu byla odcizena databáze zákazníků (jméno, adresa, seznam zakoupených produktů) [Customer Care, Bleeping Computer].

Ladislav Hagara | Komentářů: 22

Kdy Zed na Linuxu?

9.5. 21:11 | Zajímavý článek

V lednu byl otevřen editor kódů Zed od autorů editoru Atom a Tree-sitter. Tenkrát běžel pouze na macOS. Byl napevno svázán s Metalem. Situace se ale postupně mění. V aktuálním příspěvku Kdy Zed na Linuxu? na blogu Zedu vývojáři popisují aktuální stav. Blíží se alfa verze.

Ladislav Hagara | Komentářů: 54

Maker Faire Prague

9.5. 14:33 | Pozvánky

O víkendu 11. a 12. května lze navštívit Maker Faire Prague, festival plný workshopů, interaktivních činností a především nadšených a zvídavých lidí.

Ladislav Hagara | Komentářů: 0

Fedora Asahi Remix 40

8.5. 21:55 | Nová verze

Byl vydán Fedora Asahi Remix 40, tj. linuxová distribuce pro Apple Silicon vycházející z Fedora Linuxu 40.

Ladislav Hagara | Komentářů: 20

Raspberry Pi Connect

8.5. 20:22 | IT novinky

Představena byla služba Raspberry Pi Connect usnadňující vzdálený grafický přístup k vašim Raspberry Pi z webového prohlížeče. Odkudkoli. Zdarma. Zatím v beta verzi. Detaily v dokumentaci.

Ladislav Hagara | Komentářů: 7

Trinity Desktop Environment (TDE) R14.1.2

8.5. 12:55 | Nová verze

Byla vydána verze R14.1.2 desktopového prostředí Trinity Desktop Environment (TDE, fork KDE 3.5). Přehled novinek v poznámkách k vydání, podrobnosti v seznamu změn.

JZD | Komentářů: 0

Google Store již také v Česku

7.5. 18:55 | IT novinky

Dnešním dnem lze již také v Česku nakupovat na Google Store (telefony a sluchátka Google Pixel).

Ladislav Hagara | Komentářů: 10

Centrum | Napsat | Starší

navrhněte » Anketa

Podle hypotézy Mrtvý Internet mj. tvoří většinu online interakcí boti.

Jsem bot. (69%)

Jsem člověk. (7%)

Opravdu jsem člověk! (11%)

Jsem něco jiného. (13%)

Celkem 196 hlasů

Komentářů: 11, poslední 10.5. 18:00

Rozcestník

AbcLinuxu

HDmag.cz

Administrace komentářů

Jste na stránce určené pro řešení chyb a problémů týkajících se diskusí a komentářů. Můžete zde našim administrátorům reportovat špatně zařazenou či duplicitní diskusi, vulgární či osočující příspěvek a podobně. Děkujeme vám za vaši pomoc, více očí více vidí, společně můžeme udržet vysokou kvalitu AbcLinuxu.cz.

Příspěvek

31.12.2015 14:11 OldFrog {Ondra Nemecek} | skóre: 36 | blog: Žabákův notes | Praha
Rozbalit Rozbalit vše Re: "inner join" csv suborov v 2 adresaroch

Hmm, 4184023358 řádků je dost. Pokud bych aproximoval svoje testy, tak by se tento počet řádků importoval 10 (pg_bulkload) až 24 (COPY) hodin. Pokud by byly databáze i zdrojová data v ramdisku, bylo by to asi polovic (tuto variantu jsem ale v testech výše neuváděl).

Doporučil bych se zamyslet, zda by bylo možné provádět importy průběžně. Pokud Vám přibude 10GB týdně, tak těchto 10GB budete importovat asi půl hodiny, což už je v pohodě.

Jinými slovy - upravte postup zpracování tak, aby se nemuselo pracovat s takovým objemem naráz. To znamená zpracovávat csv soubory častěji (jednoduše nasadit logrotate?) anebo logovat do databáze rovnou (asi větší zásah postupu). To jsou systémová řešení. Postgres má limit 32TB na tabulku, limit na velikost databáze ani počet řádků v tabulce není řádný. Pokud přikoupíte RAM a SSD disk, vystačíte s tím hodně dlouho.

Uvědomte si, že alternativní databázové systémy nejsou zázračně rychlejší, jsou pouze lépe škálovatelné (pro více procesorů, více počítačů, s paralelizací a podporou pro dotazy nad několikařádově větším objemem dat). Vy máte jen jeden počítač a objem dat, který by pro relační databázi neměl být zas takový problém.

Ohledně použití csv jako storage pro databázi - možná to jde, ale dotazy nad těmi daty budou asi dost pomalé, takže ve výsledku to může ještě pomalejší.

-- OldFrog

V tomto formuláři můžete formulovat svou stížnost ohledně příspěvku. Nejprve vyberte typ akce, kterou navrhujete provést s diskusí či příspěvkem. Potom do textového pole napište důvody, proč by měli admini provést vaši žádost, problém nemusí být patrný na první pohled. Odkaz na příspěvek bude přidán automaticky.

Offtopic diskuse použijte pro diskusi mimo záběr našeho portálu (včelařství, windows), která by měla být smazána.
Duplicitní diskuse je určena pro případ, kdy uživatel odeslal svůj dotaz několikrát.
Návrh na cenzuru použijte, pokud komentář obsahuje urážky, vulgarismy nebo porušuje zákony.
Návrh na smazání komentáře je velmi neobvyklá akce používaná obvykle při nepovolené reklamě či spamu, výkřicích psychicky nemocných jedinců (ještírci) nebo pro smazání duplikátních komentářů.
Oprava formátování je žádost pro úpravu formy příspěvku, například pokud někdo píše bez odstavců nebo použije PRE pro celý komentář. Žádosti o změnu obsahu budou zamítnuty.

Píšeme jinde

ISSN 1214-1267 www.czech-server.cz

Redakce | Inzerce | Podmínky použití | Osobní údaje

Vaše jméno
Váš email
Typ požadavku

Slovní popis