Byl vydán Nextcloud Hub 8. Představení novinek tohoto open source cloudového řešení také na YouTube. Vypíchnout lze Nextcloud AI Assistant 2.0.
Vyšlo Pharo 12.0, programovací jazyk a vývojové prostředí s řadou pokročilých vlastností. Krom tradiční nadílky oprav přináší nový systém správy ladících bodů, nový způsob definice tříd, prostor pro objekty, které nemusí procházet GC a mnoho dalšího.
Microsoft zveřejnil na GitHubu zdrojové kódy MS-DOSu 4.0 pod licencí MIT. Ve stejném repozitáři se nacházejí i před lety zveřejněné zdrojové k kódy MS-DOSu 1.25 a 2.0.
Canonical vydal (email, blog, YouTube) Ubuntu 24.04 LTS Noble Numbat. Přehled novinek v poznámkách k vydání a také příspěvcích na blogu: novinky v desktopu a novinky v bezpečnosti. Vydány byly také oficiální deriváty Edubuntu, Kubuntu, Lubuntu, Ubuntu Budgie, Ubuntu Cinnamon, Ubuntu Kylin, Ubuntu MATE, Ubuntu Studio, Ubuntu Unity a Xubuntu. Jedná se o 10. LTS verzi.
Na YouTube je k dispozici videozáznam z včerejšího Czech Open Source Policy Forum 2024.
Fossil (Wikipedie) byl vydán ve verzi 2.24. Jedná se o distribuovaný systém správy verzí propojený se správou chyb, wiki stránek a blogů s integrovaným webovým rozhraním. Vše běží z jednoho jediného spustitelného souboru a uloženo je v SQLite databázi.
Byla vydána nová stabilní verze 6.7 webového prohlížeče Vivaldi (Wikipedie). Postavena je na Chromiu 124. Přehled novinek i s náhledy v příspěvku na blogu. Vypíchnout lze Spořič paměti (Memory Saver) automaticky hibernující karty, které nebyly nějakou dobu používány nebo vylepšené Odběry (Feed Reader).
OpenJS Foundation, oficiální projekt konsorcia Linux Foundation, oznámila vydání verze 22 otevřeného multiplatformního prostředí pro vývoj a běh síťových aplikací napsaných v JavaScriptu Node.js (Wikipedie). V říjnu se verze 22 stane novou aktivní LTS verzí. Podpora je plánována do dubna 2027.
Byla vydána verze 8.2 open source virtualizační platformy Proxmox VE (Proxmox Virtual Environment, Wikipedie) založené na Debianu. Přehled novinek v poznámkách k vydání a v informačním videu. Zdůrazněn je průvodce migrací hostů z VMware ESXi do Proxmoxu.
R (Wikipedie), programovací jazyk a prostředí určené pro statistickou analýzu dat a jejich grafické zobrazení, bylo vydáno ve verzi 4.4.0. Její kódové jméno je Puppy Cup.
Při vkládání velkého množství záznamů do SQLite pomocí příkazu INSERT OR IGNORE pozoruji výrazné zpomalení. Data vkládám přes python z csv souborů. Mám desítky souborů o velikosti cca 300 MB a každý obsahuje statisíce až milion záznamů - textové popisky definující význam a k nim přiřazená číselné hodnoty. Python vytváří několik číselníků, do kterých se ukládají ty popisky, aby se šetřilo místo, protože ty jsou hodně duplicitní.
Zpracování prvních takových souborů trvá pár desítek vteřin/několik minut na každý soubor. Postupně se čas zpracování souboru prodlužuje a dosahuje i desítek minut/pár hodin. Nějak významně nepomohlo ani vypnutí indexování během vkládání. Transakce používám.
K datům bude přistupovat pouze jeden program běžící lokálně. Proto jsem volil sqlite. To zpomalování při vkládání mě ale nutí zeptat se, jestli by na tom jiné databáze nebyly lépe?
Řešení dotazu:
Díky za tip. Zkusím tu dočasnou tabulku.
Data převádím do databáze pro trvalé uložení. Vyhledávání v původních csv souborech celkem trvá. Dotaz do SQL je mnohonásobně rychlejší. Těch dotazů může být v dávce několik tisíc, výsledkem každého je několik desítek řádků pro další zpracování. Zpočátku to vypadalo, že databáze je řešení. Ale s prodlužujícím se časem zpracování insertů už to tak růžové není. Už je skoro jedno, jestli čekat hodiny na přípravu dat pro sql dotazy, nebo hodiny na zpracování dotazů do csv.
Velikost databáze je dnes cca 12 GB. Za rok naroste cca o 1 GB, to je asi 6 mio záznamů.
Tiskni Sdílej: