abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 00:33 | Zajímavý článek

Správce nástroje curl Daniel Stenberg na GitHubu průběžně vytváří svou novou knihu Uncurled, v níž shrnuje své dlouhodobé zkušenosti s údržbou open-source projektu: od odpozorovaných pouček po vtipné a ne až tak vtipné příklady e-mailů od uživatelů.

Fluttershy, yay! | Komentářů: 2
včera 00:22 | Nová verze

Byla vydána nová major verze 25.0 programovacího jazyka Erlang (Wikipedie) a související platformy OTP (Open Telecom Platform, Wikipedie). Přehled novinek v příspěvku na blogu.

Ladislav Hagara | Komentářů: 3
včera 00:11 | Nová verze

Deno (Wikipedie), běhové prostředí (runtime) pro JavaScript a TypeScript, bylo vydáno ve verzi 1.22. Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
18.5. 18:22 | Nová verze

Společnost Red Hat oznámila vydání Red Hat Enterprise Linuxu (RHEL) 9.0. Vedle nových vlastností a oprav chyb přináší také aktualizaci ovladačů a předběžné ukázky budoucích technologií. Podrobnosti v poznámkách k vydání.

Ladislav Hagara | Komentářů: 6
18.5. 14:00 | Komunita

Lars Knoll oznámil, že po 25 letech v ekosystému Qt, z toho 22 let pracující pro různé společnosti vlastnící Qt, odchází ze společnosti The Qt Company do malého norského startupu.

Ladislav Hagara | Komentářů: 6
18.5. 13:22 | Zajímavý projekt

Na Kickstarteru běží kampaň na podporu mini ITX desky Turing Pi 2 Cluster Computer. Vložením 4 výpočetních modulů, podporovány jsou Raspberry Pi 4, Turing RK1 a Nvidia Jetson, lze získat 4uzlový cluster. Cena desky je 219 dolarů.

Ladislav Hagara | Komentářů: 2
18.5. 10:00 | Pozvánky

Spolek OpenAlt zve příznivce otevřených řešení a přístupu na 198. brněnský sraz, který proběhne v pátek 20. května tradičně od 18 hodin v Pivovarské restauraci Moravia.

Ladislav Hagara | Komentářů: 2
18.5. 07:00 | Zajímavý software

Byla vydána nová verze 0.25 herního enginu Fyrox, původně rg3d. Přehled novinek s kódy, náhledy i videi v příspěvku na blogu.

Ladislav Hagara | Komentářů: 1
18.5. 00:11 | Nová verze

Multiplatformní audio přehrávač Qmmp (Wikipedie) byl vydán ve verzi 2.1.0. Z novinek lze zmínit například podporu XDG Base Directory Specification.

Ladislav Hagara | Komentářů: 0
17.5. 23:22 | Komunita

Letošní konference LibreOffice proběhne 28. září až 1. října v Bolzanu. The Document Foundation hledá přednášející.

Zdeněk Crhonek | Komentářů: 0
Na sociálních sítích nebo jiných webových diskuzích vystupuji pod
 (59%)
 (16%)
 (25%)
Celkem 283 hlasů
 Komentářů: 26, poslední dnes 15:03
Rozcestník

Co nás ph naučil 3: actor model

2.1.2017 10:07 | Přečteno: 1623× | Jen tak | Výběrový blog

V prvním a druhémzápisku jsem nastínil technické věci, jako coding conventions a generování projektů. To jsou poměrně nudné a nezajímavé veci. Na řadě je tedy actor model.

Problém: You must be this tall to write multithreaded code

Actor model je způsob práce s "konkurentním" (concurrent) během kódu. Mimochodem první paper byl publikovaný v roce 1973, takže se nejedná o nijak novou věc.

Klasické postupy programování končí u procesů, nebo vláken, zamykání, semaforů, mutexů, sdílené paměti a podobně. A jako takové vede ke spoustě záludných chyb a deadlocků a velice obtížně odhalitelných problémů při běhu vašeho kódu. A až všechno odladíte pro 4 jádra, někdo váš kód spustí na 8.

Tohle všechno je rozepsáno v Scalable C: Problem: is my code thread-safe?, The Architecture of OpenSource applications: 24.8. Concurrency Model.

Actor model znamená, že je program modelován jako jeden, či více nezávislých aktorů. Ty mezi sebou mohou komunikovat pouze pomocí posílání zpráv. Jeden actor pak může spustit a kontrolovat vícero actorů.

Tento model, mimochodem, je model jazyka Erlang/Elixir, který se používání na psaní vysoce škálovatelného software.

Třída zactor

Pro jazyky, které actor model nepodporují v základu, existují knihovny. V případě czmq existuje třída zactor, která využívá zeromq sockety a funkce pro kontrolu actorů.
#include <czmq.h>

static void
s_actor1 (zsock_t *pipe, void *args)
{
    char *name = strdup (args);
    zsock_signal (pipe, 0);
    for (int i = 0; i != 10; i++)
        zsys_info ("%s:\tcount %d\n", name, i);
    zstr_free (&name);
}

int main () {
    zactor_t *actor = zactor_new (s_actor1, "actor1");
    while (true) {
        char *str = zstr_recv (actor);
        if (str) {
            puts (str);
            zstr_free (&str);
        }
        else
            break;
    }

    zactor_destroy (&actor);
}
Každý actor funkce očekává dva parametry, zeromq socket a void ukazatel na případná další data. Obvykle se args nevyplatí používat a pokud, tak na něco jako log_prefix. Rozhodně není dobrý nápad takto předávat třeba zeromq sockety. Technicky totiž actor běží v jiném vlákně. Parametr pipe je potom EXPAIR socket, který což je v podstatě obousměrná asynchronní roura. Ta funguje přes inproc transport, takže všechny funkce send/recv pouze předávají ukazatele mezi vlákny. Výhodou je, že tyto funkce akceptují actor, zeromq socket, nebo pipe. Takže je používání konzistentní ze všech stran. Třída zactor má velmi jednoduchý protokol, actor samotný musí oznámit pomocí zsys_signal, že dokončil inicializaci a může zpracovávat zprávy. Druhým požadavkem je, že actor musí číst ze svého socketu a v případě příkazu $TERM se ukončit.

Jak ukončit program

Kdo si program vyzkoušel, přišel na to, že vypíše čísla 1-10 a pořád běží. To není chyba, ale vlastnost. Zeromq se obvykle používá na psaní server side kódu, který běží pořád a je to náš příklad, který nedává moc smysl. Ale tady se ukazuje flexibilita actore modelu, prostě po ukončení výpočtu pošleme příkaz $DONE, kterým actor oznámí to, že dokončil práci. A hlavní vlákno si to přečte a actora ukončí.
#include <czmq.h>

static void
s_actor1 (zsock_t *pipe, void *args)
{
    char *name = strdup (args);
    zsock_signal (pipe, 0);
    for (int i = 0; i != 10; i++)
        zsys_info ("%s:\tcount %d\n", name, i);
    zstr_send (pipe, "$DONE");
    zstr_free (&name);
}
čte a 
int main () {

....
    char *str = zstr_recv (actor);
    if (str && streq (str, "$DONE"))
        break;
A tady vidíme flexibilitu třídy zactor, knihovny zeromq a posílání zpráv. Je triviální zajistit komunikaci mezi hlavním vláknem a actory.

Jak poslat data do actoru

static void
s_actor1 (zsock_t *pipe, void *args)
{
    zsock_signal (pipe, 0);
    zpoller_t *poller = zpoller_new (pipe, NULL);

    while (!zsys_interrupted) {
        void *which = zpoller_wait (poller, -1);
        if (!which)
            break;

        zmsg_t *msg = zmsg_recv (pipe);
        char *cmd = zmsg_popstr (msg);
        if (!cmd || streq (cmd, "$TERM")) {
            zmsg_destroy (&msg);
            zstr_free (&cmd);
            break;
        }
        else
        if (streq (cmd, "COUNT")) {
            char *smax = zmsg_popstr (msg);
            int max = atoi (smax);
            for (int i = 0; i != max; i++)
                zsys_info ("count %d", i);
            zstr_send (pipe, "$END");
        }
        zmsg_destroy (&msg);
        zstr_free (&cmd);
    }
    zpoller_destroy (&poller);
}

...
int main () {
    zactor_t *actor = zactor_new (s_actor1, NULL);
    zstr_sendx (actor, "COUNT", "42", NULL);
Posílání dat do actoru je snadné. Funkce zstr_sendx odešle zprávu s vícero rámci (frame), která bude předána actoru. V těle actoru je zpráva zpracována a provedena. Typický actor ovšem nekomunikuje pouze ze svým socketem pipe, ale obvykle má otevřených vícero socketů, které mpořebuje číst. Na tohle se hodí další třída zpoller, která čeká tak dlouho, než se na jednom ze sledovaných socketů neobjeví data, která je možné číst.

Ale k čemu je to vlastně dobré?

Zatím se zdá, že actor model je hezká hračka, ale bez reálnějšího využití. Projekt zeromq obsahuje dva systémy, které jsou naprogramovány pomocí actor modelu - discovery service zyre a broker malamute. Pro zopakování z minula, CLASS projekty se dělí na dvě základní části. Sdílená knihovna (libmlm.so) a démon (malamute), který spouští actor mlm_server. Tento model je extrémně flexibilní, protože umožňuje snadný vývoj, testování i integraci do libovolného kódu. V zásadě je smyčka pokus/omyl je extrémně krátká a zároveň vývojář nepotřebuje znát LD_PRELOAD hacky jako cwrap, socket_wrapper a podobně. Spuštění samotného brokeru potom vypadá zhruba takto ...
#include <malamute.h>
...
    char *endpoint = "inproc://@/malamute";
    zactor_t *server = zactor_new (mlm_server, "Malamute");
    if (verbose)
        zstr_sendx (server, "VERBOSE", NULL);
    zstr_sendx (server, "BIND", endpoint, NULL);

    while (true) {
        char *str = zstr_recv (server);
        if (str) {
            puts (str);
            zstr_free (&str);
        }
        else {
            zsys_info ("Interrupted");
            break;
        }
    }

    zactor_destroy (&server);
Celý malamute potom běží jako actor, který ovšem na některé formy komunikace spouští další actory. Stejně tak klientská část je actor, takže i přes poměrně jednoduché API člověk má program, kde beží a spolupracuje několik vláken. Ovšem o malamute až nekdy příště.        

Hodnocení: 100 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

xkucf03 avatar 2.1.2017 23:51 xkucf03 | skóre: 49 | blog: xkucf03
Rozbalit Rozbalit vše Re: Co nás ph naučil 3: actor model
Díky za článek.

Jen bych chtěl říct, že asynchronní přístup a posílání zpráv má i své stinné stránky – člověk přichází o klasický stack trace, ze kterého je u synchronních programů vidět, odkud bylo co voláno a v debuggeru se člověk dostane i do příslušného kontextu a celkem snadno zjistí, proč byla zavolána ta která metoda a proč právě s těmito parametry. Z vlastní zkušenosti musím říct, že porozumět asynchronnímu kódu a pochopit architekturu/návrh programu je těžší – člověk hodí zprávu do jakési roury na jednom konci programu a ona za chvíli přistane na druhém konci a zároveň se zamíchá s jinými zprávami… Ladit takové systémy není zrovna triviální. Jsou tu tedy nějaké doporučené postupy – jak to co nejvíc zpřehlednit a usnadnit pochopení ostatním (a svému budoucímu já)? (protože psaní takových programů se někdy nejde vyhnout)
Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
5.1.2017 05:33 Michal Vyskočil | skóre: 60 | blog: miblog | Praha
Rozbalit Rozbalit vše Re: Co nás ph naučil 3: actor model
Ladit takové systémy není zrovna triviální. Jsou tu tedy nějaké doporučené postupy – jak to co nejvíc zpřehlednit a usnadnit pochopení ostatním (a svému budoucímu já)? (protože psaní takových programů se někdy nejde vyhnout)
Tak zrovna ohledně zeromq a actorů, tak postup je takový, že si člověk navrhne schéma a typ zpráv. Potom se postaví prototyp, který se otestuje na očekávaný výkon. No a pak se řeší binární formáty dat a podobně. V zásadě postup je rychlá iterace pokus/omyl a unit testy. Právě actor model a zprojekt k takovému stylu vývoje přímo vybízí.

Ladit takové programy v debuggeru nelze (s výjimkou code dumpu). Jediná metoda jsou ladící výpisy. Výhoda je v tom, že při rychlém iterativním vývoji člověk napáchá pár chyb na jejichž řešení si na ta správná místa musí přidat ladící výpisy.

Potom jsou obecnější rady, jako mít plně dokumentované a otestované API, nesdílet stav mezi komponentami a podobně.
When your hammer is C++, everything begins to look like a thumb.
7.1.2017 13:59 arsinoe
Rozbalit Rozbalit vše Re: Co nás ph naučil 3: actor model
to je takovy evolucni pristup

to pak neni divu, ze ten vas sw ma obcas nejake to slepe strevo ci sitnici naruby, ze?
8.1.2017 07:22 Michal Vyskočil | skóre: 60 | blog: miblog | Praha
Rozbalit Rozbalit vše Re: Co nás ph naučil 3: actor model
Ano, slepá střeva máme. A to jak z evolučních, tak i z dob inteligentního designu. Narozdíl od evoluce taky máme potřebu a schopnosti slepé cesty odstraňovat.
When your hammer is C++, everything begins to look like a thumb.
10.1.2017 13:20 kralyk z abclinuxu | skóre: 29 | blog:
Rozbalit Rozbalit vše Re: Co nás ph naučil 3: actor model
Ladit takové programy v debuggeru nelze (s výjimkou code dumpu).
Počítám, že na tyhle věci by se dal nasadit koncept Time traveling debuggeru, to by mohlo fungovat velmi pěkně. (Ačkoli implementace by asi nebyla úplně triviální.)
Josef Kufner avatar 10.1.2017 19:22 Josef Kufner | skóre: 70
Rozbalit Rozbalit vše Re: Co nás ph naučil 3: actor model
Ladicí výpisy jsou taková primitivní forma time traveling debuggeru. Tedy pokud je z nich možné alespoň částečně rekonstruovat stav aplikace.

Implementace debuggeru není nijak komplikovaná. Potřebuješ do mechanismu na předávání zpráv vložit odbočku a logovat vše, co se posílá. Zbytek už je jen vizualizace nasbíraných dat (což může být docela komplikované samo o sobě). Když se to udělá hezky, tak se z logu dá třeba poskládat film (avi), kde je zachycen běh programu. Nebo si můžeš nechat nakreslit různé (sekvenční) diagramy. Nástrojů, které převedou nějakou jednoduchou syntaxi na obrázek je spousta (např. Graphviz). Pokud je zpráv hodně, tak to nemusí být moc interaktivní a rendrování může chvilku trvat, ale dá se.
Hello world ! Segmentation fault (core dumped)

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.