abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 14:44 | IT novinky

    Mozilla představuje Firefox Enterprise určený jako podnikový prohlížeč pro organizace s přísnými požadavky na bezpečnost, správu a dodržování předpisů. S profesionální podporou. Dostupný je zatím ve Francii, Německu, Rakousku a Švýcarsku.

    Ladislav Hagara | Komentářů: 5
    dnes 14:33 | Bezpečnostní upozornění

    Kybernetický útok zasáhl nejméně 150 supermarketů Intermarché a několik prodejen řetězců Leclerc a Coopérative U. Chladicí jednotky napadených obchodních domů byly nastaveny na nepřetržité odmrazování a teplota v nich mnohdy vystouala až nad 50°C. Škody napáchané na chlazeném a mraženém zboží budou patrně dosahovat miliónů eur.

    … více »
    ❗Červivý Hřib krade❗ | Komentářů: 2
    dnes 04:00 | Komunita

    Stát Kalifornie zažaloval výrobce 3D tiskových filamentů Polymaker. Vrchní soud San Diego County tvrdí, že firma propagací svých výrobků mezi příznivci 3D tištěných zbraní podporovala výrobu takzvaných 'ghost guns' (DIY zbraní) a že její PLA filament pro 3D tiskárny lze za těchto okolností považovat za součást určenou k výrobě střelné zbraně. Žaloba požaduje mimo jiné finanční sankce a soudní zákaz činnosti, Polymaker se hájí tím, že filament je běžný a sám o sobě legální produkt. Celý text žaloby (PDF na Google Drive).

    ❗Červivý Hřib krade❗ | Komentářů: 18
    dnes 03:33 | Nová verze

    V červnu byla představena aplikace Myna pro převod řeči na text v prostředí desktopu Ubuntu. Včera byla Myna zpřístupněna širší komunitě Ubuntu formou technologické ukázky dostupné v Ubuntu 24.04 LTS, Ubuntu 26.04 LTS a Ubuntu 26.10 s GNOME na Waylandu.

    Ladislav Hagara | Komentářů: 0
    včera 21:11 | Komunita

    Ubuntu 27.04 bude Tenacious T-Rex.

    Ladislav Hagara | Komentářů: 0
    včera 20:44 | Nová verze

    Byla vydána nová verze 2026.4.0 "Never-slop" svobodného softwaru ScummVM (Wikipedie) umožňujícího bezproblémový běh mnoha klasických adventur na zařízeních, pro které nebyly nikdy určeny. Přehled novinek v poznámkách k vydání a na GitHubu. ScummVM oslavil 25 let. Verze 0.0.1 vyšla 8. října 2001.

    Ladislav Hagara | Komentářů: 0
    včera 17:22 | Humor

    Kanadský vývojář Anthony Sistilli vytvořil ironický DIY projekt parodující kamerové systémy Flock, s cílem názorně demonstrovat rizika masového sledování jaké provozují tyto komerční ALPR systémy. Z levné IP kamery a vlastního ML softwaru (napsaného s pomocí SI circa za 20 minut, kód se mi bohužel nepodařilo dohledat) běžícího v laptopu sestavil jednoduchý systém, který detekuje výhradně policejní vozidla, zaznamenává jejich SPZ a

    … více »
    ❗Červivý Hřib krade❗ | Komentářů: 7
    včera 12:44 | Upozornění

    Část údajů uživatelů internetového supermarketu Rohlík byla odcizena. Kyberútočníci napadli nástroj zákaznické podpory Rohlíku, odcizili tak jména, e-mailové adresy, v některých případech také telefonní čísla nebo přepisy komunikace mezi klienty a zákaznickou podporou. Rohlík incident nahlásil příslušným orgánům a přijal příslušné opatření, aby zamezil podobným případům v budoucnosti, uvedla firma.

    Ladislav Hagara | Komentářů: 16
    včera 11:11 | IT novinky

    Aplikace eDoklady fungovala v obou volebních dnech stabilně a prakticky bez front. Digitální a informační agentura (DIA) odhaduje, že se digitálním dokladem prokázalo více než 100.000 voličů. Aplikaci si před volbami či během nich aktualizovalo 247.517 uživatelů. Nových registrací bylo 19.431 a do aplikace se přihlásilo 357.879 lidí. Největší nápor přišel bezprostředně po otevření volebních místností mezi 14. a 16. hodinou, kdy si

    … více »
    Ladislav Hagara | Komentářů: 11
    včera 00:55 | Pozvánky

    Začal semestr, začal i podzim a kromě hub rostou jako po dešti i veřejné dílny v Praze. Nedávno strahováci referovali o hackerspacu Bordel, nyní se otevřela dílna Dejvice Lab jen kousek od ČVUT. Na blížící Virtuální Bastlírně tak uslyšíte nejen report z návštěvy dílny HWLab, ale i řadu novinek, událostí a úsměvných momentů, které se za poslední měsíc ve světě techniky, ale i vědy udály. Připojte se tedy již v úterý 13.10. od 20:00 a zapojte se do

    … více »
    bkralik | Komentářů: 1
    Které desktopové prostředí na Linuxu používáte?
     (9%)
     (7%)
     (4%)
     (21%)
     (29%)
     (8%)
     (5%)
     (2%)
     (14%)
     (20%)
    Celkem 2840 hlasů
     Komentářů: 32, poslední 11.10. 17:02
    Rozcestník

    Dotaz: Proudové zpracování dat – nejlepší praktiky

    xkucf03 avatar 5.7.2013 12:06 xkucf03 | skóre: 50 | blog: xkucf03
    Proudové zpracování dat – nejlepší praktiky
    Přečteno: 1139×

    Dnešní software se většinou skládá z mnoha komponent a vrstev a ty si mezi sebou předávají objekty. Např. načtu data z databáze nebo souboru (sítě atd.) a předám kolekci záznamů někam dál, tam se data nějak transformují, zpracují, předají další komponentě (opět jako kolekce nebo objekt) a po několika takových fázích vyplivnou na výstup.

    Výhoda je v abstrakci a v tom, že komponenty jsou celkem samostatné, dají se samostatně vyvíjet, testovat, znovupoužívat, není to jeden monolitický bastl. Na druhou stranu nevýhoda je v tom, že první záznam na výstupu vypadne nejdříve ve chvíli, kdy se načte poslední záznam na vstupu. A taky v tom, že v jednu chvíli musím mít celou množinu načtenou v paměti.

    Rád bych v programu měl něco jako unixové roury a zpracovával data průběžně – tzn. vstup může být teoreticky nekonečný, spotřeba paměti je konstantní (jeden řádek/záznam nebo stanovená velikost bufferu) doba zpracování lineárně závislá na velikosti vstupu.

    Řešením může být předávání iterátorů (některé jazyky mají generátory/yield), kurzorů v SQL, vstupně/výstupních proudů… Vím, jak dosáhnout požadovaného výsledku. Ale jak ho dosáhnout co nejelegantněji a nejčistší cestou? Jaké jsou nejlepší praktiky, aby to bylo efektivní a zároveň to nebyl zprasený neudržovatelný monolit? Víte o nějakém jazyku/frameworku, který by umožňoval poskládat (pokud možno deklarativně) jednotlivé komponenty systému a nechat jimi proudit data? Nemáte příklad softwaru, který se s tímhle problémem vyrovnává nějak elegantně a poučně?

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes

    Odpovědi

    5.7.2013 12:16 Kit
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Možná do bude znít divně, ale co třeba Bash?
    xkucf03 avatar 5.7.2013 12:56 xkucf03 | skóre: 50 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky

    Jde mi spíš o řešení v rámci jednoho programu a programovacího jazyka. Pouštět pro každou komponentu zvláštní proces není ideální (i když to nevylučuji) a hlavně jsem tu omezený na proudy bajtů – což se někdy taky hodí, ale když budu zpracovávat nějaké záznamy/objekty, musím je na výstupu z jedné komponenty serializovat a na vstupu druhé zase deserializovat.

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    5.7.2013 13:06 Kit
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    V tom případě bych asi zvolil Javu, ta je na to vybavena.
    5.7.2013 13:00 Mr.S1lent.cz
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Muzes posilat z client side subrequesty a zpracovavat je nezavisle na aplikaci. Avsak hlavni nevyhoda tohoto modelu je ta, ze kdyz dojde k nejake chybe v nejakem subrequestu, aplikace to nezjisti. Proto se kolikrat stava u vyvojaru webovych aplikaci, kteri nepouzivaji nejaky output buffering, ze jim to zvesela vypisuje chybove hlasky do nactene aplikace, protoze takto neudelaji zadne presmerovani na code 500/404/aj., pokud si to neporesi na strane klienta, coz je ovsem spatne...

    Kazdopadne dnesni hw poskytuje dostatecny vypocetni vykon za malo penez, resp. za mnohem mene penez pri srovnani platu a casu programatora, takze se nadtimto nevyplati moc premyslet. Navic tento model zase vytezuje procesor vytvarenim dalsich vlakej pro subprocesy, takze je otazka, co je vetsi overhead :)
    5.7.2013 13:54 Radek Miček | skóre: 23 | blog: radekm_blog
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Řešením může být předávání iterátorů (některé jazyky mají generátory/yield), kurzorů v SQL, vstupně/výstupních proudů… Vím, jak dosáhnout požadovaného výsledku. Ale jak ho dosáhnout co nejelegantněji a nejčistší cestou?
    Nevím, zda to je elegantní, ale Haskell má koinduktivní typy a jinou redukční strategii, takže se tam mnoho věcí chová "líně", aniž by programátor musel něco speciálního dělat. Nevýhodou je, že programátor ztrácí přehled, kdy se jaká věc vlastně počítá.
    Jaké jsou nejlepší praktiky, aby to bylo efektivní a zároveň to nebyl zprasený neudržovatelný monolit?
    Oboje zvládá Haskell docela dobře. Kompilátor GHC provádí fúzi, čímž dosahuje docela dobré efektivity (a stávající fúze se možná dočká dalšího vylepšení).
    pavlix avatar 5.7.2013 14:02 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Vytvářet a předávat různé iterátory/handles můžeš předávat v libovolném programovacím jazyce. Nevím, co na tom chceš vymýšlet elegantního, prostě potřebuješ být schopný udržovat nějaký iterátorový objekt a zpřístupnit ho pomocí nějakého API, toť vše.
    Já už tu vlastně ani nejsem. Abclinuxu umřelo.
    5.7.2013 20:28 potato
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    To samozřejmě můžeš, ovšem otázka zněla, jak to dělat efektivně. Když budeš posílat každý jednotlivý párbajtový kousek dat (což naivní použití iterátorů/handles klidně způsobí), nebudou všechna jádra procesoru dělat nic jiného, než zběsile managovat fronty. Na druhé straně bufferbloat vede k tomu, že na sebe věci čekají a stejně to sežere dost paměti.
    pavlix avatar 6.7.2013 09:20 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    K tomu ale potřebuješ předvídat, jak bude komunikace vypadat a podle toho to naprogramovat.
    Já už tu vlastně ani nejsem. Abclinuxu umřelo.
    5.7.2013 17:50 rnd
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    http://www.playframework.com/documentation/2.0.2/Iteratees

    http://mandubian.com/2012/08/27/understanding-play2-iteratees-for-normal-humans/
    5.7.2013 18:10 Radek Miček | skóre: 23 | blog: radekm_blog
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    Slajdy s přehledem podobných technik.
    6.7.2013 13:59 Ivan
    Rozbalit Rozbalit vše Re: Proudové zpracování dat – nejlepší praktiky
    A co tohle? Map&Reduce

    Založit nové vlákno • Nahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.