abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 19:00 | IT novinky

    Počítačová hra Knytt napsaná v Multimedia Fusion 2 byla vydána před 20 lety. Při této příležitosti byl dnes představen moderní port (YouTube) této plošinovky na současné operační systémy pod názvem Knytt Classic. Je zdarma k dispozici na Steamu a GOG.com.

    Ladislav Hagara | Komentářů: 0
    dnes 16:00 | IT novinky

    Americká technologická společnost Meta Platforms představila nový model umělé inteligence (AI) Muse Glimmer. Model je menší než přední modely AI od konkurence a má běžet přímo na počítačích uživatelů. Meta model zpřístupní jako open source, tedy otevřený software. Nový model je navržen tak, aby zvládal takzvané agentní úkoly na počítačích se spotřebitelskou grafickou kartou. Klade si tak za cíl uspokojit poptávku po systémech AI, které běží přímo na zařízeních uživatelů.

    Ladislav Hagara | Komentářů: 5
    dnes 12:11 | Pozvánky

    V pátek 28. srpna 2026 se v pražském Karlíně uskuteční již osmý Mobilní Hackday. Akce začne v 10:00 a potrvá až do večera. Setkání proběhne v prostorách SUSE Linux, s.r.o. na adrese Křižíkova 148/34, Praha 8 – Karlín. Nejbližší zastávkou je Křižíkova, kam se lze dostat tramvají i metrem. Na programu budou například novinky z posledních měsíců, možnosti, jak si zjednodušit práci s LLM/AI, a také nová linuxová distribuce BengalOS, včetně … více »

    David Heidelberg | Komentářů: 0
    včera 17:22 | Nová verze

    Jakub Vrána vydal Adminer ve verzi 6.0.0 s více než 130 změnami: "Většina změn vznikla s asistencí Claude Opus 5. Někteří lidi se bojí, že AI asistence může kód zamořit technickým dluhem. To je jistě pravda, pokud vývojář všechny změny bezduše odbouchne Enterem. Ale pokud si pořádně projde plán, vyjedná v něm změny a pak totéž udělá i s vygenerovaným kódem, kvalita kódu stoupne a technický dluh naopak klesne. Je to jako párové programování s

    … více »
    Ladislav Hagara | Komentářů: 1
    včera 12:44 | Nová verze

    Sam Aaron vydal novou major verzi 5.0.0 aplikace Sonic Pi (Wikipedie) určené také pro výuku programování pomocí skládání hudby. Přehled novinek na GitHubu. Instalovat lze také z Flathubu.

    Ladislav Hagara | Komentářů: 0
    8.8. 04:44 | IT novinky

    U příležitosti 30. výročí vydání počítačové hry Quake byla vydána nová epizoda s názvem Dawn of the Machine (Steam).

    Ladislav Hagara | Komentářů: 8
    7.8. 16:00 | Bezpečnostní upozornění

    Vládní CERT upozorňuje (𝕏) na sérii bezpečnostních záplat (CVSS 9.9) v produktech Cisco řešících kritické zranitelnosti umožňující obejití autentizace, eskalaci oprávnění, vzdálené spuštění kódu a odepření služby. Úspěšné zneužití může útočníkům umožnit získat neoprávněný přístup k dotčeným systémům, kompromitovat zařízení Cisco Catalyst SD-WAN a Cisco IOS XE, spustit libovolný kód, zpřístupnit citlivé informace nebo narušit dostupnost postižených systémů.

    Ladislav Hagara | Komentářů: 6
    7.8. 15:33 | IT novinky

    Soud v americkém státě Nové Mexiko ve čtvrtek nařídil internetové společnosti Meta Platforms zaplatit 567 milionů dolarů (téměř 12 miliard Kč) za újmy, které její platformy působí mladým lidem. S přihlédnutím k dřívějšímu verdiktu tak má společnost celkem zaplatit 942 milionů dolarů, což je malý zlomek jejího ročního výnosu, který loni činil 60 miliard dolarů. Čtvrteční verdikt firmě také nařizuje, aby změnila způsob, jakým její

    … více »
    Ladislav Hagara | Komentářů: 20
    7.8. 12:44 | Humor

    Mark Russinovich (CTO v Microsoft Azure) se na LinkedIn pochlubil svým projektem MS Paint Doom napsaným pomocí Claude. Hru Doom umožňuje hrát v programu Malování (Microsoft Paint). Malování funguje jako monitor. Herní engine (ViZDoom) běží na pozadí a každý vykreslený snímek hry vkládá automaticky přes schránku (clipboard) do Malování.

    Ladislav Hagara | Komentářů: 4
    6.8. 08:00 | IT novinky

    Platformy ChatGPT i Roblox by mohly být zařazeny na seznam mimořádně velkých on-line platforem nebo internetových vyhledávačů, na něž se vztahují zvláštní podmínky podle nařízení o digitálních službách (DSA). Vzhledem k tomu, že ChatGPT i Roblox oznámily počet uživatelů nad prahovou hodnotou DSA, je toto označení „rozhodně možné“ a mohlo by „přijít dříve či později“. On-line platformy a vyhledávače zařazené na seznamy DSA musejí

    … více »
    Ladislav Hagara | Komentářů: 12
    Které desktopové prostředí na Linuxu používáte?
     (10%)
     (7%)
     (2%)
     (18%)
     (30%)
     (6%)
     (6%)
     (2%)
     (15%)
     (23%)
    Celkem 2364 hlasů
     Komentářů: 30, poslední 3.4. 20:20
    Rozcestník


    Dotaz: Proudové zpracování dat – nejlepší praktiky

    xkucf03 avatar 5.7.2013 12:06 xkucf03 | skóre: 50 | blog: xkucf03
    Proudové zpracování dat – nejlepší praktiky
    Přečteno: 945×

    Dnešní software se většinou skládá z mnoha komponent a vrstev a ty si mezi sebou předávají objekty. Např. načtu data z databáze nebo souboru (sítě atd.) a předám kolekci záznamů někam dál, tam se data nějak transformují, zpracují, předají další komponentě (opět jako kolekce nebo objekt) a po několika takových fázích vyplivnou na výstup.

    Výhoda je v abstrakci a v tom, že komponenty jsou celkem samostatné, dají se samostatně vyvíjet, testovat, znovupoužívat, není to jeden monolitický bastl. Na druhou stranu nevýhoda je v tom, že první záznam na výstupu vypadne nejdříve ve chvíli, kdy se načte poslední záznam na vstupu. A taky v tom, že v jednu chvíli musím mít celou množinu načtenou v paměti.

    Rád bych v programu měl něco jako unixové roury a zpracovával data průběžně – tzn. vstup může být teoreticky nekonečný, spotřeba paměti je konstantní (jeden řádek/záznam nebo stanovená velikost bufferu) doba zpracování lineárně závislá na velikosti vstupu.

    Řešením může být předávání iterátorů (některé jazyky mají generátory/yield), kurzorů v SQL, vstupně/výstupních proudů… Vím, jak dosáhnout požadovaného výsledku. Ale jak ho dosáhnout co nejelegantněji a nejčistší cestou? Jaké jsou nejlepší praktiky, aby to bylo efektivní a zároveň to nebyl zprasený neudržovatelný monolit? Víte o nějakém jazyku/frameworku, který by umožňoval poskládat (pokud možno deklarativně) jednotlivé komponenty systému a nechat jimi proudit data? Nemáte příklad softwaru, který se s tímhle problémem vyrovnává nějak elegantně a poučně?

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes

    Odpovědi

    5.7.2013 12:16 Kit
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Možná do bude znít divně, ale co třeba Bash?
    xkucf03 avatar 5.7.2013 12:56 xkucf03 | skóre: 50 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky

    Jde mi spíš o řešení v rámci jednoho programu a programovacího jazyka. Pouštět pro každou komponentu zvláštní proces není ideální (i když to nevylučuji) a hlavně jsem tu omezený na proudy bajtů – což se někdy taky hodí, ale když budu zpracovávat nějaké záznamy/objekty, musím je na výstupu z jedné komponenty serializovat a na vstupu druhé zase deserializovat.

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    5.7.2013 13:06 Kit
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    V tom případě bych asi zvolil Javu, ta je na to vybavena.
    5.7.2013 13:00 Mr.S1lent.cz
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Muzes posilat z client side subrequesty a zpracovavat je nezavisle na aplikaci. Avsak hlavni nevyhoda tohoto modelu je ta, ze kdyz dojde k nejake chybe v nejakem subrequestu, aplikace to nezjisti. Proto se kolikrat stava u vyvojaru webovych aplikaci, kteri nepouzivaji nejaky output buffering, ze jim to zvesela vypisuje chybove hlasky do nactene aplikace, protoze takto neudelaji zadne presmerovani na code 500/404/aj., pokud si to neporesi na strane klienta, coz je ovsem spatne...

    Kazdopadne dnesni hw poskytuje dostatecny vypocetni vykon za malo penez, resp. za mnohem mene penez pri srovnani platu a casu programatora, takze se nadtimto nevyplati moc premyslet. Navic tento model zase vytezuje procesor vytvarenim dalsich vlakej pro subprocesy, takze je otazka, co je vetsi overhead :)
    5.7.2013 13:54 Radek Miček | skóre: 23 | blog: radekm_blog
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Řešením může být předávání iterátorů (některé jazyky mají generátory/yield), kurzorů v SQL, vstupně/výstupních proudů… Vím, jak dosáhnout požadovaného výsledku. Ale jak ho dosáhnout co nejelegantněji a nejčistší cestou?
    Nevím, zda to je elegantní, ale Haskell má koinduktivní typy a jinou redukční strategii, takže se tam mnoho věcí chová "líně", aniž by programátor musel něco speciálního dělat. Nevýhodou je, že programátor ztrácí přehled, kdy se jaká věc vlastně počítá.
    Jaké jsou nejlepší praktiky, aby to bylo efektivní a zároveň to nebyl zprasený neudržovatelný monolit?
    Oboje zvládá Haskell docela dobře. Kompilátor GHC provádí fúzi, čímž dosahuje docela dobré efektivity (a stávající fúze se možná dočká dalšího vylepšení).
    pavlix avatar 5.7.2013 14:02 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Vytvářet a předávat různé iterátory/handles můžeš předávat v libovolném programovacím jazyce. Nevím, co na tom chceš vymýšlet elegantního, prostě potřebuješ být schopný udržovat nějaký iterátorový objekt a zpřístupnit ho pomocí nějakého API, toť vše.
    Já už tu vlastně ani nejsem. Abclinuxu umřelo.
    5.7.2013 20:28 potato
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    To samozřejmě můžeš, ovšem otázka zněla, jak to dělat efektivně. Když budeš posílat každý jednotlivý párbajtový kousek dat (což naivní použití iterátorů/handles klidně způsobí), nebudou všechna jádra procesoru dělat nic jiného, než zběsile managovat fronty. Na druhé straně bufferbloat vede k tomu, že na sebe věci čekají a stejně to sežere dost paměti.
    pavlix avatar 6.7.2013 09:20 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    K tomu ale potřebuješ předvídat, jak bude komunikace vypadat a podle toho to naprogramovat.
    Já už tu vlastně ani nejsem. Abclinuxu umřelo.
    5.7.2013 17:50 rnd
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    http://www.playframework.com/documentation/2.0.2/Iteratees

    http://mandubian.com/2012/08/27/understanding-play2-iteratees-for-normal-humans/
    5.7.2013 18:10 Radek Miček | skóre: 23 | blog: radekm_blog
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Slajdy s přehledem podobných technik.
    6.7.2013 13:59 Ivan
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    A co tohle? Map&Reduce

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.