abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

    včera 16:55 | Nová verze

    Projekt openSUSE dnes, 3. listopadu 2026, oficiálně vydal openSUSE Leap 16.1, novou verzi své stabilní linuxové distribuce. Novinkou je také Immutable Mode, který nahrazuje dosavadní samostatnou distribuci openSUSE Leap Micro. Podrobnosti o novém vydání najdete v oficiálním oznámení nebo v českém překladu oznámení. Instalační obrazy jsou již dostupné na get.opensuse.org. Vydání společně oslavíme v pátek ve virtuálním baru a na … více »

    lkocman | Komentářů: 0
    včera 16:00 | Nová verze

    Bylo oznámeno vydání Fedora Linuxu 45. Ve finální verzi vychází šest oficiálních edic: Fedora Workstation a Fedora KDE Plasma Desktop pro desktopové, Fedora Server pro serverové, Fedora Cloud pro cloudové nasazení, Fedora CoreOS pro ty, kteří preferují neměnné systémy a Fedora IoT pro internet věcí. Vedle nich jsou k dispozici také další atomické desktopy, spiny a laby. Podrobný přehled novinek v samostatných článcích na stránkách

    … více »
    Ladislav Hagara | Komentářů: 0
    včera 15:44 | Zajímavý článek

    Vědci z MIT CSAIL představili koncept 'weight-space programming' a názorně předvedli, že pokročilé jazykové modely SI dokážou přímo číst a upravovat váhy neuronových sítí. Studie ukazuje, že modely nejen dokážou identifikovat účel sítí z pouhého nahlédnutí do jejich číselných vah, ale mohou i cíleně opravovat chyby a nedostatky, například GPT-6 Astra se změnou pouhých 0,016% vah open-weight modelu Qwen3.5-0.8B podařilo odstranit

    … více »
    👻 | Komentářů: 2
    včera 14:00 | Komunita

    Organizátoři komunitního setkání nejen českých a slovenských správců sítí CSNOG 2027, které se uskuteční 20. a 21. ledna na půdě zlínské univerzity Tomáše Bati, oznámili prodloužení termínu pro zasílání abstraktů do programu akce. Zájemci se mohou hlásit prostřednictvím webu setkání do úterý 10. listopadu. Programová komise uvítá příspěvky věnované nejen správě sítí, ale také legislativě a regulaci nebo síťařským aktivitám studentů a pedagogů.

    VSladek | Komentářů: 0
    včera 13:55 | IT novinky

    Bylo spuštěno předobjednávání zařízení Flipper One s Linuxem. Za 20 dolarů si lze koupit kupón a zajistit si tím speciální cenu 379 dolarů po spuštění kampaně na Kickstarteru.

    Ladislav Hagara | Komentářů: 0
    včera 12:44 | Nová verze

    Tor Browser, tj. fork webového prohlížeče Mozilla Firefox s integrovaným klientem sítě Tor přednastavený tak, aby přes tuto síť bezpečně komunikoval, byl vydán ve verzi 16.0. Postaven je na Firefoxu ESR 153. Vydána byla také nová verze 7.16 živé linuxové distribuce Tails (The Amnesic Incognito Live System), jež klade důraz na ochranu soukromí uživatelů a anonymitu. S Tor Browserem 16.0.

    Ladislav Hagara | Komentářů: 0
    včera 04:00 | Nová verze

    FreeTube, desktopový klient pro YouTube využívající lokální API, byl vydán ve verzi 0.26.0. Toto velké opravné vydání mj. vrací částečnou podporu živých přenosů nebo přepracovává zobrazování titulků a obecně nastavení videa v přehrávači – FreeTube umožňuje např. přehrávat video s větším zrychlením.

    ʚĭɞ 🍉 | Komentářů: 1
    včera 03:55 | Humor

    Další vlna kyberútoků zasáhla chladicí zařízení supermarketů v sedmi evropských zemích, Belgii, Lucembursku, Švédsku, Nizozemsku, Irsku, Estonsku a Finsku. Mrazáky se v některých prodejnách opět 'proměnily v trouby' a zahřály až na 50°C, což pochopitelně vedlo ke znehodnocení uskladněných potravin. Útoky navazují na podobný incident ve Francii z první poloviny října letošního roku, pachatel stále není znám.

    👻 | Komentářů: 9
    2.11. 17:52 | Zajímavý projekt
    WorldTUI je experimentální LLM o 360 milionech parametrů, který napodobuje terminál. Podle stisknutých kláves se snaží předpovídat změny na obrazovce a zvládá tak vyonávat rozličné příkazy, například Vim, tmux i jednoduchou hru Snake. Nejedná se o skutečný příkazový řádek, jeho 'soubory' i příkazy jsou pouze simulované a model může samozřejmě různě chybovat. WorldTUI vychází z jazykového modelu Qwen2.5-Coder-0.5B, který autor … více »
    👻 | Komentářů: 2
    2.11. 17:48 | Zajímavý článek
    Josef Bacik navrhuje novou abstrakci cell, která by celý kontejner reprezentovala jako jeden kernelový objekt. Proces by vznikl přímo uvnitř cell a nemohl by ji opustit. Oprávnění ke správě by se odvozovala od držení cellfd. … více »
    vencour | Komentářů: 11
    Které desktopové prostředí na Linuxu používáte?
     (9%)
     (7%)
     (4%)
     (20%)
     (30%)
     (9%)
     (5%)
     (2%)
     (14%)
     (20%)
    Celkem 2970 hlasů
     Komentářů: 34, poslední 26.10. 08:24
    Rozcestník

    Dotaz: Proudové zpracování dat – nejlepší praktiky

    xkucf03 avatar 5.7.2013 12:06 xkucf03 | skóre: 50 | blog: xkucf03
    Proudové zpracování dat – nejlepší praktiky
    Přečteno: 1146×

    Dnešní software se většinou skládá z mnoha komponent a vrstev a ty si mezi sebou předávají objekty. Např. načtu data z databáze nebo souboru (sítě atd.) a předám kolekci záznamů někam dál, tam se data nějak transformují, zpracují, předají další komponentě (opět jako kolekce nebo objekt) a po několika takových fázích vyplivnou na výstup.

    Výhoda je v abstrakci a v tom, že komponenty jsou celkem samostatné, dají se samostatně vyvíjet, testovat, znovupoužívat, není to jeden monolitický bastl. Na druhou stranu nevýhoda je v tom, že první záznam na výstupu vypadne nejdříve ve chvíli, kdy se načte poslední záznam na vstupu. A taky v tom, že v jednu chvíli musím mít celou množinu načtenou v paměti.

    Rád bych v programu měl něco jako unixové roury a zpracovával data průběžně – tzn. vstup může být teoreticky nekonečný, spotřeba paměti je konstantní (jeden řádek/záznam nebo stanovená velikost bufferu) doba zpracování lineárně závislá na velikosti vstupu.

    Řešením může být předávání iterátorů (některé jazyky mají generátory/yield), kurzorů v SQL, vstupně/výstupních proudů… Vím, jak dosáhnout požadovaného výsledku. Ale jak ho dosáhnout co nejelegantněji a nejčistší cestou? Jaké jsou nejlepší praktiky, aby to bylo efektivní a zároveň to nebyl zprasený neudržovatelný monolit? Víte o nějakém jazyku/frameworku, který by umožňoval poskládat (pokud možno deklarativně) jednotlivé komponenty systému a nechat jimi proudit data? Nemáte příklad softwaru, který se s tímhle problémem vyrovnává nějak elegantně a poučně?

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes

    Odpovědi

    5.7.2013 12:16 Kit
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Možná do bude znít divně, ale co třeba Bash?
    xkucf03 avatar 5.7.2013 12:56 xkucf03 | skóre: 50 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky

    Jde mi spíš o řešení v rámci jednoho programu a programovacího jazyka. Pouštět pro každou komponentu zvláštní proces není ideální (i když to nevylučuji) a hlavně jsem tu omezený na proudy bajtů – což se někdy taky hodí, ale když budu zpracovávat nějaké záznamy/objekty, musím je na výstupu z jedné komponenty serializovat a na vstupu druhé zase deserializovat.

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    5.7.2013 13:06 Kit
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    V tom případě bych asi zvolil Javu, ta je na to vybavena.
    5.7.2013 13:00 Mr.S1lent.cz
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Muzes posilat z client side subrequesty a zpracovavat je nezavisle na aplikaci. Avsak hlavni nevyhoda tohoto modelu je ta, ze kdyz dojde k nejake chybe v nejakem subrequestu, aplikace to nezjisti. Proto se kolikrat stava u vyvojaru webovych aplikaci, kteri nepouzivaji nejaky output buffering, ze jim to zvesela vypisuje chybove hlasky do nactene aplikace, protoze takto neudelaji zadne presmerovani na code 500/404/aj., pokud si to neporesi na strane klienta, coz je ovsem spatne...

    Kazdopadne dnesni hw poskytuje dostatecny vypocetni vykon za malo penez, resp. za mnohem mene penez pri srovnani platu a casu programatora, takze se nadtimto nevyplati moc premyslet. Navic tento model zase vytezuje procesor vytvarenim dalsich vlakej pro subprocesy, takze je otazka, co je vetsi overhead :)
    5.7.2013 13:54 Radek Miček | skóre: 23 | blog: radekm_blog
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Řešením může být předávání iterátorů (některé jazyky mají generátory/yield), kurzorů v SQL, vstupně/výstupních proudů… Vím, jak dosáhnout požadovaného výsledku. Ale jak ho dosáhnout co nejelegantněji a nejčistší cestou?
    Nevím, zda to je elegantní, ale Haskell má koinduktivní typy a jinou redukční strategii, takže se tam mnoho věcí chová "líně", aniž by programátor musel něco speciálního dělat. Nevýhodou je, že programátor ztrácí přehled, kdy se jaká věc vlastně počítá.
    Jaké jsou nejlepší praktiky, aby to bylo efektivní a zároveň to nebyl zprasený neudržovatelný monolit?
    Oboje zvládá Haskell docela dobře. Kompilátor GHC provádí fúzi, čímž dosahuje docela dobré efektivity (a stávající fúze se možná dočká dalšího vylepšení).
    pavlix avatar 5.7.2013 14:02 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Vytvářet a předávat různé iterátory/handles můžeš předávat v libovolném programovacím jazyce. Nevím, co na tom chceš vymýšlet elegantního, prostě potřebuješ být schopný udržovat nějaký iterátorový objekt a zpřístupnit ho pomocí nějakého API, toť vše.
    Já už tu vlastně ani nejsem. Abclinuxu umřelo.
    5.7.2013 20:28 potato
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    To samozřejmě můžeš, ovšem otázka zněla, jak to dělat efektivně. Když budeš posílat každý jednotlivý párbajtový kousek dat (což naivní použití iterátorů/handles klidně způsobí), nebudou všechna jádra procesoru dělat nic jiného, než zběsile managovat fronty. Na druhé straně bufferbloat vede k tomu, že na sebe věci čekají a stejně to sežere dost paměti.
    pavlix avatar 6.7.2013 09:20 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    K tomu ale potřebuješ předvídat, jak bude komunikace vypadat a podle toho to naprogramovat.
    Já už tu vlastně ani nejsem. Abclinuxu umřelo.
    5.7.2013 17:50 rnd
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    http://www.playframework.com/documentation/2.0.2/Iteratees

    http://mandubian.com/2012/08/27/understanding-play2-iteratees-for-normal-humans/
    5.7.2013 18:10 Radek Miček | skóre: 23 | blog: radekm_blog
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Slajdy s přehledem podobných technik.
    6.7.2013 13:59 Ivan
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    A co tohle? Map&Reduce

    Založit nové vlákno • Nahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.