abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    včera 21:11 | Nová verze

    Byl vydán Debian 13 s kódovým názvem Trixie. Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 1
    včera 15:55 | Zajímavý software

    WLED je open-source firmware pro ESP8266/ESP32, který umožňuje Wi-Fi ovládání adresovatelných LED pásků se stovkami efektů, synchronizací, audioreaktivním módem a Home-Assistant integrací. Je založen na Arduino frameworku.

    Indiánský lotr | Komentářů: 0
    8.8. 15:33 | Nová verze

    Open source platforma Home Assistant (Demo, GitHub, Wikipedie) pro monitorování a řízení inteligentní domácnosti byla vydána v nové verzi 2025.8.

    Ladislav Hagara | Komentářů: 3
    8.8. 14:22 | IT novinky

    Herní studio Hangar 13 vydalo novou Mafii. Mafia: Domovina je zasazena do krutého sicilského podsvětí na začátku 20. století. Na ProtonDB je zatím bez záznamu.

    Ladislav Hagara | Komentářů: 1
    8.8. 13:22 | IT novinky

    Operátor O2 má opět problémy. Jako omluvu za pondělní zhoršenou dostupnost služeb dal všem zákazníkům poukaz v hodnotě 300 Kč na nákup telefonu nebo příslušenství.

    Ladislav Hagara | Komentářů: 8
    8.8. 05:55 | IT novinky

    Společnost OpenAI představila GPT-5 (YouTube).

    Ladislav Hagara | Komentářů: 1
    8.8. 05:00 | Nová verze

    Byla vydána (𝕏) červencová aktualizace aneb nová verze 1.103 editoru zdrojových kódů Visual Studio Code (Wikipedie). Přehled novinek i s náhledy a videi v poznámkách k vydání. Ve verzi 1.103 vyjde také VSCodium, tj. komunitní sestavení Visual Studia Code bez telemetrie a licenčních podmínek Microsoftu.

    Ladislav Hagara | Komentářů: 0
    7.8. 17:33 | IT novinky

    Americký prezident Donald Trump vyzval nového generálního ředitele firmy na výrobu čipů Intel, aby odstoupil. Prezident to zdůvodnil vazbami nového šéfa Lip-Bu Tana na čínské firmy.

    Ladislav Hagara | Komentářů: 10
    7.8. 16:55 | Nová verze

    Bylo vydáno Ubuntu 24.04.3 LTS, tj. třetí opravné vydání Ubuntu 24.04 LTS s kódovým názvem Noble Numbat. Přehled novinek a oprav na Discourse.

    Ladislav Hagara | Komentářů: 0
    7.8. 16:44 | Nová verze

    Byla vydána verze 1.89.0 programovacího jazyka Rust (Wikipedie). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

    Ladislav Hagara | Komentářů: 0
    Kolik tabů máte standardně otevřeno ve web prohlížeči?
     (46%)
     (20%)
     (4%)
     (5%)
     (3%)
     (1%)
     (1%)
     (19%)
    Celkem 318 hlasů
     Komentářů: 23, poslední 4.8. 13:01
    Rozcestník

    Non blocking IO vs kooperatívny multitasking na webe

    7.12.2013 19:50 | Přečteno: 2618× | Web | poslední úprava: 7.12.2013 19:47

    V poslednej dobe sa dosť často hovorí o javascripte na serveri (node.js). Jeho súčasťou je non blocking IO čo sa využíva prevažne v realtimových webových aplikáciách. V tomto blogu sa pozrieme na pomerne starú alternatívu k non blocking io - kooperatívny multitasking.

    Príklad

    V dnešnom príklade budeme chcieť vypísať výrok dňa. Ten bude uložený v memcache. Aby to nebolo tak jednoduché pre každý deň bude citát v samostatnej premennej a jej názov nájdeme taktiež v memcache v premennej msg_var.

    Nodejs

    var http = require('http');
    var Memcached = require('memcached');
    var memcached = new Memcached('127.0.0.1:11211'); // pripojenie na memcache
    
    // Nastavenie premenných, toto by mal riešiť externý skript
    memcached.set("msg_var", "vyrok_2013-07-12")
    memcached.set("vyrok_2013-07-12", "vyrok pre dnesok")
    
    http.createServer(function (req, res) {
      // IO operácia - načítanie msg var
      memcached.get('msg_var', function(err, msg_var) {
        // callback po načítaní msg_var
        if (err) {
          sys.puts('Error!');
          return;
        }
        // IO operácia - načítanie konkrétneho výroku
        memcached.get(msg_var, function(err, msg) {
          if (err) {
            sys.puts('Error!');
            return;
          }
          res.writeHead(200, {'Content-Type': 'text/plain'});
          res.end(msg); // výpis výroku
        });
      });
    }).listen(8888, '127.0.0.1');
    

    Pre spustenie musíme nainštalovať memcache (npm install memcached), spustiť memcached server (pomocou obľúbeného init systému) a spustiť node server (node server.js).

    gevent

    from gevent.wsgi import WSGIServer
    import umemcache as memcache
    
    mc = memcache.Client('127.0.0.1:11211')
    mc.connect()
    mc.set("msg_var", "vyrok_2013-07-12")
    mc.set("vyrok_2013-07-12", "vyrok pre dnesok")
    
    def application(environ, start_response):
    	start_response("200 OK", [('Content-Type', 'text/plain')])
    	msg_var = mc.get("msg_var")[0]
    	msg = mc.get(msg_var)[0]
    	yield msg
    
    WSGIServer(('127.0.0.1', 8888), application, log=None).serve_forever()
    

    Pre spustenie musíme nainštalovať závislosti umemcache a gevent (pomocou easy_install alebo pip) Server sa spustí príkazom python server.py.

    Výsledky

    Pre oba servery bolo vypálených 10 000 požiadaviek pričom paralelne bolo udržiavaných 100 spojení (ab2 -n 10000 -c 100 127.0.0.1:8888).

    Node:

    Concurrency Level:      100
    Time taken for tests:   16.881 seconds
    Complete requests:      10000
    Failed requests:        0
    Write errors:           0
    Total transferred:      1180000 bytes
    HTML transferred:       170000 bytes
    Requests per second:    592.38 [#/sec] (mean)
    Time per request:       168.811 [ms] (mean)
    Time per request:       1.688 [ms] (mean, across all concurrent requests)
    Transfer rate:          68.26 [Kbytes/sec] received
    
    Connection Times (ms)
                  min  mean[+/-sd] median   max
    Connect:        0    0   3.1      0      46
    Processing:    20  168  65.8    179     413
    Waiting:       19  168  65.7    179     412
    Total:         65  168  65.9    179     413
    
    Percentage of the requests served within a certain time (ms)
      50%    179
      66%    204
      75%    216
      80%    220
      90%    254
      95%    281
      98%    303
      99%    389
     100%    413 (longest request)

    gevent:

    Concurrency Level:      100
    Time taken for tests:   19.746 seconds
    Complete requests:      10000
    Failed requests:        0
    Write errors:           0
    Total transferred:      1180000 bytes
    HTML transferred:       170000 bytes
    Requests per second:    506.42 [#/sec] (mean)
    Time per request:       197.464 [ms] (mean)
    Time per request:       1.975 [ms] (mean, across all concurrent requests)
    Transfer rate:          58.36 [Kbytes/sec] received
    
    Connection Times (ms)
                  min  mean[+/-sd] median   max
    Connect:        0    0   1.6      0      24
    Processing:    16  196  13.9    197     219
    Waiting:       15  196  13.9    197     219
    Total:         32  196  12.7    198     219
    
    Percentage of the requests served within a certain time (ms)
      50%    198
      66%    201
      75%    203
      80%    204
      90%    207
      95%    209
      98%    211
      99%    212
     100%    219 (longest request)
    

    Vyhodnotenie

    Kód s non blocking io je prakticky ekvivalentný python kódu s geventmi. Rozdiel v počte riadkov a zložitosti kódu je úplne jasný. Preto pre node.js vznikajú knižnice, ktoré umožňujú zapisovať trochu rozumnejšie (async).

    Rozdiel vo výkone bol pomerne malý - 592.38 requestov za sekundu v prípade node.js proti 506.42 v pythone s knižnicou gevent. Rozdiel by bol o niečo menší ak by bol použitý python s jit (pypy) a v prípade použitia memcache knižnice s lepšou implementáciou socketov bol by python o kúsok vpredu.

    Non blocking io neprináša oproti kooperatívnemu multitaskingu žiadne výhody, len výrazne zneprehľadnenie kódu. Na druhej strane python nemá knižnice pripravené na to, aby plne využívali kooperatívny multitasking. To je jediný rozumný dôvod prečo zvoliť nodejs pred pythonom.

           

    Hodnocení: 100 %

            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    pavlix avatar 8.12.2013 09:43 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Non blocking IO vs kooperatívny multitasking na webe
    Ověřoval jsi vůbec, zda gevent používá blokující IO, abys mohl tvrdit, že je lepší používat gevent než neblokující IO?

    Tvrzení, že neblokující IO kód znepřehledňuje je pitomost. Dobře udělané Pythoní API musí být schopné jakýkoli boilerplate kód schovat.

    Ovšem hlavní smysl neblokujícího IO je paradoxně blokování. Přesněji řečeno blokování na celé řadě souborových deskriptorů namísto blokování samotných operací nad deskriptory.

    Alternativou k neblokujícímu IO je pro každou takovou akci založit nové vlákno či proces. Jestliže se používá nějaký interní multitasking, bez kernelových vláken, tak musí daný framework zabránit kernelu, aby kvůli jednomu pseudovláknu zablokoval celé pythoní vlákno se všemi pseudovlákny. K tomu se používá neblokující IO.

    Nepleť si pojmy s dojmy a zkus si uvědomit, že neblokující IO je to, na čem obě srovnávané varianty stojí.
    Já už tu vlastně ani nejsem. Abclinuxu umřelo.
    mirec avatar 8.12.2013 10:04 mirec | skóre: 32 | blog: mirecove_dristy | Poprad
    Rozbalit Rozbalit vše Re: Non blocking IO vs kooperatívny multitasking na webe

    V mojom príklade memcache používa skutočne blokujúce sockety (nepoužíl som gevent.monkey.patch_socket).

    Pojem non blocking io sa používa hlavne v súvislosti s node.js ale je to prakticky to isté, čo som ukázal v python kóde (to je ekvivalentné s kooperatívnym multitaskingom kde sa pri volaní i/o prepne úloha a obnoví sa znovu až keď budú buffery patrične naplnené). Rozdiel je len v tom, že v pythone sa to isté dá zapísať bez callbackov.

    Cieľom blogu bolo ukázať, že to, čo je dnes akože novinka tu bolo dávno pred tým, len sa to volalo trochu inak.

    Prepínanie úlohy pri I/O sa dá dosiahnuť rôznymi spôsobmi - systémové vlákna, nejaké pseudovlákna v interpretovanom jazyku, alebo eventmi riadený loop s callbackmi ako v node.js. Rozdiel je len v spôsobe zápisu (ktorý je v prípade node.js podstatne zložitejší).

    Samozreme teraz nehovorím, že rýchlo prepíšme všetko do pythonu pretože tam oproti node.js nie sú knižnice na neblokujúce volania pripravené. Príkladom môže byť napr. memcache, ktorý by pri nahradení socketu neblokujúcimi socketmi spôsobil odpojenie od memcached servera. Súčasné riešenie ktoré som ukázal pracuje s memcache korektne tj. požiadavka, odpoveď, požiadavka, odpoveď na tom istom sockete. Ak by som povolil prerušenie dvojíc požiadavka - odpoveď dostal by som na tom istom sockete požiadavka, požiadavka ... chyba. Tu je potrebné teda použiť špeciálnu memcache knižnicu, ktorá obaľuje dvojice do synchronizačných primitív a aby to celé nefungovalo ako úzke hrdlo treba vytvoriť niekoľko spojení a používať connection poll.

    LinuxOS.sk | USE="-fotak -zbytocnosti -farebne_lcd +vydrz +odolnost +java" emerge telefon
    pavlix avatar 9.12.2013 07:34 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Non blocking IO vs kooperatívny multitasking na webe
    Pojem non blocking io sa používa hlavne v súvislosti s node.js
    Ten pojem se používal v době, kdy o node.js ještě nikdo neslyšel.

    Já už tu vlastně ani nejsem. Abclinuxu umřelo.
    mirec avatar 9.12.2013 07:48 mirec | skóre: 32 | blog: mirecove_dristy | Poprad
    Rozbalit Rozbalit vše Re: Non blocking IO vs kooperatívny multitasking na webe

    Áno, akurát v poslednej dobe sa z toho stal taký buzzword. Ako som písal všetko tu už bolo dávno, neblokujúce IO sa riešili väčšinou vláknami a to že v nodejs funguje tak, že IO operácie okamžite vracajú undefined a vrtátená hodnota IO sa podstrčí callbacku je len obídenie obmedzení nodejs, žiadna zázračná technológia. To isté som ukázal v inom jazyku (konkrétne python, ale kľudne som mohol použiť čokoľvek iné, čo pozná vlákna) ale s jednoduchším a kratším kódom (vďaka tomu, že sa nemusia používať callbacky). Takže podčiarknuté a sčítané - node.js sa oplatí jedine vďaka knižniciam, ale samotný komfort pri písaní a čitateľnosť kódu tu netreba hľadať.

    LinuxOS.sk | USE="-fotak -zbytocnosti -farebne_lcd +vydrz +odolnost +java" emerge telefon
    pavlix avatar 9.12.2013 08:34 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Non blocking IO vs kooperatívny multitasking na webe
    Áno, akurát v poslednej dobe sa z toho stal taký buzzword.
    Buzzwordy si nech pro personalistky a management.
    Ako som písal všetko tu už bolo dávno, neblokujúce IO sa riešili väčšinou vláknami
    Vzhledem k tomu, že neblokující IO, tak jak je známý z POSIXových a podobných systémů, je v podstatě jedinou možností, jak se vláknům (či procesům) vyhnout, zní mi tato věta dost komicky. Jediné, co ti můžu doporučit je přestat se snažit o vysvětlení a něco si o tom přečíst. Třeba na anglickou wikipedii ta tvoje buzzwordová verze ještě nedošla.

    Já jsem srozuměn s tím, že za „neblokující“ se dá označit ledacos včetně toho vláknování, ale pod „neblokujícím IO“ si představuju neblokující vstupní a výstupní operace. A to jsou kupodivu IO operace, které neblokují proces (vlákno), které je spustilo. Alternativou k tomu je spuštění blokující operace v samostatném vlákně.

    Jenže to musí být skutečné vlákno operačního systému, jinak nelze vůbec samostatně ze strany OS zablokovat. Takže pokud se jedná o nějaká kooperativní falešná vlákna na úrovni bajtkódových instrukcí (tak jsem to ze zápisku pochopil), tak za tím bude mezivrstva, která používá právě neblokující IO operace.
    Já už tu vlastně ani nejsem. Abclinuxu umřelo.
    mirec avatar 9.12.2013 11:24 mirec | skóre: 32 | blog: mirecove_dristy | Poprad
    Rozbalit Rozbalit vše Re: Non blocking IO vs kooperatívny multitasking na webe

    V prípade pythonu je to skutočne kooperatívny multitasking a na asynchrónne operácie sa používa knižnica libev (v tomto konkrétnom prípade, neplatí všeobecne).

    LinuxOS.sk | USE="-fotak -zbytocnosti -farebne_lcd +vydrz +odolnost +java" emerge telefon
    pavlix avatar 9.12.2013 13:26 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Non blocking IO vs kooperatívny multitasking na webe
    To zní jako rozumné řešení, libev je jedna z knihoven na event loop pro neblokující IO.
    Já už tu vlastně ani nejsem. Abclinuxu umřelo.
    9.12.2013 09:07 Mike
    Rozbalit Rozbalit vše Re: Non blocking IO vs kooperatívny multitasking na webe
    Ano, také nechápu proč někdo používá node.js a píše v prasáckém Javascriptu, když jsou tu mnohem lepší nástroje např. právě v podobě Pythonu + gevent.

    Podle mě jsou to přeučení webaři zvyklí v Javascriptu prasit client-side, co nic jiného než JS pořádně neumí, tak se ho drží zuby nehty i na straně serveru. A nebo obzvláště zvrácení masochisti, jiné vysvětlení nemám.
    9.12.2013 16:29 Michal Vyskočil | skóre: 60 | blog: miblog | Praha
    Rozbalit Rozbalit vše Re: Non blocking IO vs kooperatívny multitasking na webe
    > [1, 2, 3, 10].sort()
    [1, 10, 2, 3]
    
    Tohle jinde nenajdeš ;-).
    When your hammer is C++, everything begins to look like a thumb.
    10.12.2013 16:37 Kozzi
    Rozbalit Rozbalit vše Re: Non blocking IO vs kooperatívny multitasking na webe
    Tak ono to jde pomoci asynchroniho I/O a nemusi to vypadat zle):
    import vibe.d;
    import memcache;
    
    shared static this() {
        auto memcache = new Memcache("127.0.0.1:11211");
        memcache.set("msg_var", "vyrok_2013-07-12");
        memcache.set("vyrok_2013-07-12", "vyrok pre dnesok");
    
        auto settings = new HTTPServerSettings;
        settings.bindAddresses = ["::1", "127.0.0.1"];
        settings.port = 8080;
        listenHTTP(settings, (HTTPServerRequest req, HTTPServerResponse res) {
            auto msg_var = memcache.get("msg_var");
            auto msg = memcache.get(msg_var);
            res.writeBody(msg, "text/plain");
        });
    }
    
    BTW. je to skoro 2x rychlejsi nez node.js

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.