abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 02:20 | Zajímavý článek

David Revoy, autor open source webového komiksu Pepper&Carrot nebo portrétu GNU/Linuxu, upozorňuje na svém blogu, že nový Inkscape 0.92 rozbíjí dokumenty vytvořené v předchozích verzích Inkscape. Problém by měl být vyřešen v Inkscape 0.92.2 [reddit].

Ladislav Hagara | Komentářů: 0
dnes 02:02 | Komunita

Øyvind Kolås, hlavní vývojář grafických knihoven GEGL a babl, které využívá grafický program GIMP, žádá o podporu na Patreonu. Díky ní bude moci pracovat na vývoji na plný úvazek. Milník 1000 $, který by stačil na holé přežití, se již téměř podařilo vybrat, dalším cílem je dosažení 2500 $, které mu umožní běžně fungovat ve společnosti.

xkomczax | Komentářů: 12
včera 23:54 | Pozvánky

DevConf.cz 2017, již devátý ročník jedné z největších akcí zaměřených na Linux a open source ve střední Evropě, proběhne od pátku 27. ledna do neděle 29. ledna v prostorách Fakulty informačních technologií Vysokého učení technického v Brně. Na programu je celá řada zajímavých přednášek a workshopů. Letos je povinná registrace.

Ladislav Hagara | Komentářů: 0
včera 22:11 | Nová verze

Byla vydána verze 1.0.0 emulátoru terminálu Terminology postaveného nad EFL (Enlightenment Foundation Libraries). Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
20.1. 17:00 | Nová verze

Byl vydán Docker 1.13. Přehled novinek na YouTube a v poznámkách k vydání na GitHubu. Docker umožňuje běh aplikací v softwarových kontejnerech (Wikipedia).

Ladislav Hagara | Komentářů: 4
20.1. 15:51 | Komunita

Mozilla.cz informuje, že nástroje pro webové vývojáře se možná oddělí od Firefoxu a stanou doplňkem. Nástroje pro webové vývojáře prošly velkým přepisem a tým, který se stará o jejich vývoj, by uvítal možnost jejich častějších aktualizacích nezávisle na vydávání nových verzí Firefoxu.

Ladislav Hagara | Komentářů: 10
20.1. 07:00 | Humor

Čtenářům AbcLinuxu vše nejlepší k dnešnímu Dni zvýšení povědomí o tučňácích (Penguin Awareness Day).

Ladislav Hagara | Komentářů: 0
20.1. 06:00 | Komunita

Bylo spuštěno hlasování o přednáškách a workshopech pro letošní InstallFest, jenž proběhne o víkendu 4. a 5. března v Praze. Současně byla oznámena změna místa. InstallFest se letos vrací zpět na Karlovo náměstí do budovy E.

Ladislav Hagara | Komentářů: 0
20.1. 02:48 | Komunita

Greg Kroah-Hartman potvrdil, že Linux 4.9 je jádrem s prodlouženou upstream podporou (LTS, Long Term Support). Podpora je plánována do ledna 2019. Aktuální jádra s prodlouženou podporou jsou tedy 3.2, 3.4, 3.10, 3.12, 3.16, 3.18, 4.1, 4.4 a 4.9.

Ladislav Hagara | Komentářů: 0
20.1. 00:11 | Zajímavý článek

Výrobce síťových prvků, společnost Netgear, spustila nový program, který slibuje vývojářům, expertům, ale i běžným uživatelům vyplacení finanční odměny za nalezení bezpečnostních chyby v jejich produktech. Za nalezení zranitelnosti v hardware, API nebo mobilní aplikaci nabízí odměnu od 150 do 15 tisíc dolarů (dle závažnosti).

Michal Makovec | Komentářů: 0
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (10%)
 (2%)
 (74%)
 (3%)
 (10%)
Celkem 362 hlasů
 Komentářů: 25, poslední včera 13:34
Rozcestník
Reklama

Dotaz: Proudové zpracování dat – nejlepší praktiky

xkucf03 avatar 5.7.2013 12:06 xkucf03 | skóre: 45 | blog: xkucf03
Proudové zpracování dat – nejlepší praktiky
Přečteno: 533×

Dnešní software se většinou skládá z mnoha komponent a vrstev a ty si mezi sebou předávají objekty. Např. načtu data z databáze nebo souboru (sítě atd.) a předám kolekci záznamů někam dál, tam se data nějak transformují, zpracují, předají další komponentě (opět jako kolekce nebo objekt) a po několika takových fázích vyplivnou na výstup.

Výhoda je v abstrakci a v tom, že komponenty jsou celkem samostatné, dají se samostatně vyvíjet, testovat, znovupoužívat, není to jeden monolitický bastl. Na druhou stranu nevýhoda je v tom, že první záznam na výstupu vypadne nejdříve ve chvíli, kdy se načte poslední záznam na vstupu. A taky v tom, že v jednu chvíli musím mít celou množinu načtenou v paměti.

Rád bych v programu měl něco jako unixové roury a zpracovával data průběžně – tzn. vstup může být teoreticky nekonečný, spotřeba paměti je konstantní (jeden řádek/záznam nebo stanovená velikost bufferu) doba zpracování lineárně závislá na velikosti vstupu.

Řešením může být předávání iterátorů (některé jazyky mají generátory/yield), kurzorů v SQL, vstupně/výstupních proudů… Vím, jak dosáhnout požadovaného výsledku. Ale jak ho dosáhnout co nejelegantněji a nejčistší cestou? Jaké jsou nejlepší praktiky, aby to bylo efektivní a zároveň to nebyl zprasený neudržovatelný monolit? Víte o nějakém jazyku/frameworku, který by umožňoval poskládat (pokud možno deklarativně) jednotlivé komponenty systému a nechat jimi proudit data? Nemáte příklad softwaru, který se s tímhle problémem vyrovnává nějak elegantně a poučně?

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-Výuka.cz, Nekuřák.net

Odpovědi

5.7.2013 12:16 Kit
Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
Možná do bude znít divně, ale co třeba Bash?
xkucf03 avatar 5.7.2013 12:56 xkucf03 | skóre: 45 | blog: xkucf03
Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky

Jde mi spíš o řešení v rámci jednoho programu a programovacího jazyka. Pouštět pro každou komponentu zvláštní proces není ideální (i když to nevylučuji) a hlavně jsem tu omezený na proudy bajtů – což se někdy taky hodí, ale když budu zpracovávat nějaké záznamy/objekty, musím je na výstupu z jedné komponenty serializovat a na vstupu druhé zase deserializovat.

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-Výuka.cz, Nekuřák.net
5.7.2013 13:06 Kit
Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
V tom případě bych asi zvolil Javu, ta je na to vybavena.
5.7.2013 13:00 Mr.S1lent.cz
Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
Muzes posilat z client side subrequesty a zpracovavat je nezavisle na aplikaci. Avsak hlavni nevyhoda tohoto modelu je ta, ze kdyz dojde k nejake chybe v nejakem subrequestu, aplikace to nezjisti. Proto se kolikrat stava u vyvojaru webovych aplikaci, kteri nepouzivaji nejaky output buffering, ze jim to zvesela vypisuje chybove hlasky do nactene aplikace, protoze takto neudelaji zadne presmerovani na code 500/404/aj., pokud si to neporesi na strane klienta, coz je ovsem spatne...

Kazdopadne dnesni hw poskytuje dostatecny vypocetni vykon za malo penez, resp. za mnohem mene penez pri srovnani platu a casu programatora, takze se nadtimto nevyplati moc premyslet. Navic tento model zase vytezuje procesor vytvarenim dalsich vlakej pro subprocesy, takze je otazka, co je vetsi overhead :)
5.7.2013 13:54 Radek Miček | skóre: 23 | blog: radekm_blog
Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
Řešením může být předávání iterátorů (některé jazyky mají generátory/yield), kurzorů v SQL, vstupně/výstupních proudů… Vím, jak dosáhnout požadovaného výsledku. Ale jak ho dosáhnout co nejelegantněji a nejčistší cestou?
Nevím, zda to je elegantní, ale Haskell má koinduktivní typy a jinou redukční strategii, takže se tam mnoho věcí chová "líně", aniž by programátor musel něco speciálního dělat. Nevýhodou je, že programátor ztrácí přehled, kdy se jaká věc vlastně počítá.
Jaké jsou nejlepší praktiky, aby to bylo efektivní a zároveň to nebyl zprasený neudržovatelný monolit?
Oboje zvládá Haskell docela dobře. Kompilátor GHC provádí fúzi, čímž dosahuje docela dobré efektivity (a stávající fúze se možná dočká dalšího vylepšení).
pavlix avatar 5.7.2013 14:02 pavlix | skóre: 53 | blog: pavlix
Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
Vytvářet a předávat různé iterátory/handles můžeš předávat v libovolném programovacím jazyce. Nevím, co na tom chceš vymýšlet elegantního, prostě potřebuješ být schopný udržovat nějaký iterátorový objekt a zpřístupnit ho pomocí nějakého API, toť vše.
Gentoo – Jsem open source vývojář, nikoli markeťák ⇒ názory zde uvedené jsou jen mé vlastní.
5.7.2013 20:28 potato
Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
To samozřejmě můžeš, ovšem otázka zněla, jak to dělat efektivně. Když budeš posílat každý jednotlivý párbajtový kousek dat (což naivní použití iterátorů/handles klidně způsobí), nebudou všechna jádra procesoru dělat nic jiného, než zběsile managovat fronty. Na druhé straně bufferbloat vede k tomu, že na sebe věci čekají a stejně to sežere dost paměti.
pavlix avatar 6.7.2013 09:20 pavlix | skóre: 53 | blog: pavlix
Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
K tomu ale potřebuješ předvídat, jak bude komunikace vypadat a podle toho to naprogramovat.
Gentoo – Jsem open source vývojář, nikoli markeťák ⇒ názory zde uvedené jsou jen mé vlastní.
5.7.2013 17:50 rnd
Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
http://www.playframework.com/documentation/2.0.2/Iteratees

http://mandubian.com/2012/08/27/understanding-play2-iteratees-for-normal-humans/
5.7.2013 18:10 Radek Miček | skóre: 23 | blog: radekm_blog
Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
Slajdy s přehledem podobných technik.
6.7.2013 13:59 Ivan
Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
A co tohle? Map&Reduce

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.