abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 22:00 | Komunita

Portál Stack Overflow po roce opět vyzpovídal své uživatele, jedná se především o vývojáře softwaru, a zveřejnil (podcast) detailní výsledky průzkumu. Průzkumu se letos zúčastnilo více než 64 tisíc vývojářů. Jejich nejmilovanější platformou je linuxový desktop. Ten je také druhou nejpoužívanější platformou vývojářů.

Ladislav Hagara | Komentářů: 1
24.3. 11:55 | Komunita

Vývojový tým OpenSSL ve spolupráci s iniciativou Core Infrastructure konsorcia Linux Foundation spustil proces přelicencování této kryptografické knihovny ze současné licence na licenci Apache Licence v 2.0 (ASLv2). Nová licence usnadní začleňování OpenSSL do dalších svobodných a open source projektů. Všichni dosavadní vývojáři OpenSSL (Authors) obdrží v následujících dnech email s prosbou o souhlas se změnou licence.

Ladislav Hagara | Komentářů: 21
24.3. 01:11 | Komunita

Před třemi týdny Mozilla.cz představila projekt Photon, jehož cílem je návrh a implementace nového vzhledu Firefoxu. Včera zveřejnila první náhled vzhledu Photon. Práce na projektu Photon jsou rozděleny do pěti týmů, které celkem čítají 19 lidí. Zaměřují se na zlepšení prvního spuštění Firefoxu a zaujetí nových uživatelů, celkovou úpravu vzhledu, zlepšení animací, zrychlení odezvy uživatelského rozhraní a také upravení nabídek. Vývoj lze sledovat v Bugzille.

Ladislav Hagara | Komentářů: 44
23.3. 20:00 | Komunita

OneDrive pro firmy je již ve webových prohlížečích na Linuxu stejně rychlý jako na Windows. Microsoft opravil chybu z listopadu loňského roku. OneDrive pro firmy běžel na Linuxu mnohem pomaleji než na Windows. V popisu chyby bylo uvedeno, že stačilo v prohlížeči na Linuxu nastavit v user-agentu Windows a vše se zrychlilo. Odpovědí Microsoftu bylo (Internet Archive: Wayback Machine), že Linux není podporován. Po bouřlivých diskusích na redditu i Hacker News byla chyba nalezena a opravena.

Ladislav Hagara | Komentářů: 6
23.3. 19:00 | Zajímavý projekt

Byla vyhlášena soutěž Hackaday Prize 2017. Soutěž je určena vývojářům open source hardwaru. Pro výherce je připraveno celkově 250 tisíc dolarů. Každý ze 120 finalistů získá tisíc dolarů. Nejlepší pak navíc 50, 30, 20, 15, 10 a 5 tisíc dolarů. Jedná se již o čtvrtý ročník soutěže. V roce 2014 zvítězil projekt globální sítě open source pozemních satelitních stanic SatNOGS. V roce 2015 zvítězil open source systém pro řízení elektrických invalidních vozíků pohybem očí Eyedriveomatic. V roce 2016 zvítězil modulární robot Dtto.

Ladislav Hagara | Komentářů: 0
23.3. 15:00 | Bezpečnostní upozornění

Byla vydána Samba ve verzích 4.6.1, 4.5.7 a 4.4.12. Řešen je bezpečnostní problém CVE-2017-2619. Pomocí symbolických odkazů a souběhu (symlink race) lze "teoreticky" získat přístup k souborům, které nejsou sdíleny. Linuxové distribuce jsou postupně aktualizovány (Debian).

Ladislav Hagara | Komentářů: 0
23.3. 07:43 | Nová verze

Na Steamu se objevil port hry Arma: Cold War Assault (Operation Flashpoint) pro Mac a Linux. … více »

creon | Komentářů: 30
23.3. 05:55 | Nová verze

Po 18 měsících od vydání verze 8.0 byla vydána verze 9.0 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab. Představení nových vlastností v příspěvku na blogu a na YouTube.

Ladislav Hagara | Komentářů: 0
23.3. 03:33 | Komunita

Platnost posledního patentu souvisejícího s Dolby Digital (AC-3) vypršela. Po MP3 se tak do Fedory oficiálně dostane také kodek AC-3.

Ladislav Hagara | Komentářů: 5
23.3. 00:44 | Komunita

Feral Interactive, společnost zabývající se vydáváním počítačových her pro operační systémy macOS a Linux, nabízí své hry na Steamu vývojářům open source 3D grafické knihovny Mesa zdarma. Podmínkou je minimálně 25 commitů za posledních 5 let. Stejnou nabídku dostali vývojáři knihovny Mesa v roce 2015 od Valve. O rok dříve dostali od Valve tuto nabídku vývojáři Debianu a Ubuntu.

Ladislav Hagara | Komentářů: 0
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (14%)
 (2%)
 (71%)
 (3%)
 (10%)
Celkem 937 hlasů
 Komentářů: 72, poslední 1.3. 11:16
    Rozcestník

    Dotaz: poll vs epoll

    9.2.2016 14:21 Jardík
    poll vs epoll
    Přečteno: 578×
    Tak si tvořím ten event loop, protože jsem nic nenašel. Studoval jsem poll a epoll a nejsem z toho nadšený.

    poll

    poll() mi nabízí: přidání descriptoru v O(1), když je místo v poli, O(N), když bude potřeba realokovat. Pak O(N) kopií do kernelu a O(N) kopií z kernelu při volání poll(), a odebrání deskriptoru O(1). Budu muset udržovat 2 pole, jedno struct pollfd[N] a druhé pole ukazatelů na struktury, kde bude uložen pointer na callback a index, kde se fd nachází (aby odebrání bylo O(1)). Deskriptorů nebude hodně (v řádu stovek), ale budou se často měnit. Když bude jeden mít hodnotu 5, druhý 300 a třetí 60000, tak kvůli tomu nechci alokovat (dvě) pole s 60000 prvky, aby to mohlo být O(1), takže potřebuju ten index. Při odebrání prostě na místo přesunu poslední prvek. Každý thread bude mít event loop, takže by to ve výsledku bylo moc paměti. Stačí, že už kernel obsahuje mapování 1:1 na deskriptory, aby to mohlo být O(1). Takže souhrn:
    • Přidání: O(1), 0 syscallů, zřídka O(N) a nějaký syscall na realokaci
    • Odebrání: O(1), 0 syscallů
    • Poll: O(2*N) + něco dalšího v kernelu, 1 syscall

    epoll

    epoll() mi nabízí: stačila by mi struktura, kterou bude udržovat uživatel, ta bude obsahovat callback a deskriptor. Descriptor je potřeba totiž znát k odebrání, při použití obyčejného pollu mu ho můžu předat při volání callbacku, s epollem to možné není, protože ho z navráceného seznamu z kernelu neznám. Každé přidání a odebrání bude vyžadovat jeden syscall. Pollování bude taky jeden syscall a O(M) kopií z kernelu, kde M je velikost epoll bufferu, která se může lišit od počtu descriptorů N. Přidání a odebrání netuším, jestli O(1), nebo jestli má nějakou mapu s O(log(N)) ... Další problém s odebráním je, že musím v O(M) projít lineárně celý seznam "připravených" deskriptů, jestli tam není deskriptor už připraven, abych se ho později nestažil zpracovat. Pokud bych měl buffer stejně velký jako počet deskriptů (kdyby byl věčně plný od epollu(), tak bych ho zvětšoval M až do N), tak by odebrání mohlo být Nějaké O(N * log(N)) + syscall (jestli to má kernel jako mapu).

    Co jsem tak koukal na různé knihovny (libuv, libevent), tak to moc neřeší a alokují si pole, které je velké alespoň jako maximální deskripto, který můžete přidat. Některé mají fixní limit na 1024. To je třeba na mém systému výchozí hodnota pro proces, ale jde zvětšit až na 64k pro uživatelský proces a možná i víc pro roota.

    No moje otázka je, co s tím. Jak to řešit. Cílem je taky co nejméně alokací dělané knihovnou, alokaci by si měl nejlépe řešit uživatel knihovny, ale úplně to nepůjde. Epoll potřebuje nějaký buffer pro výstup a poll i pro vstup, takže sem tam budu muset alokaci provést. Kdybych nechtěl procházet buffer epollu při odebrání deskriptoru, mohl bych třeba alokovat ještě další strukturu a tam teprve ukládat informace s callbackem od uživatele a poznamenat si tam "odebráno", a teprve, až se k ní dostanu, tak ji uvolnit či připravit k dalšímu použití, ale to je další alokace na deskriptor.

    Odpovědi

    9.2.2016 14:26 Kit | skóre: 37 | Brno
    Rozbalit Rozbalit vše Re: Petr
    Mohu se zeptat, co to má společného s Petrem?
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    9.2.2016 15:33 Jardík
    Rozbalit Rozbalit vše Re: Petr
    To byl překlik, za Petra jsem se chtěl vydávat a napsat to do jména a skončilo to v titulku.
    9.2.2016 15:56 Jardík
    Rozbalit Rozbalit vše Re: Petr
    A můžou za to sušenky. Kdyby tu bylo možné poslat dotaz bez sušenek, tak by mi to nepředvyplnilo jméno a mohl jsem být Petr. Přitom jsou použitý jenom k tomu, aby si to po náhledu pamatovalo "už měl náhled a zadal tenhle rok", přitom by to mohlo být jako skrytá hodnota ve formuláři.
    Max avatar 11.2.2016 07:11 Max | skóre: 65 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Petr
    Opraveno.
    Zdar Max
    Měl jsem sen ... :(
    9.2.2016 15:24 tom
    Rozbalit Rozbalit vše Re: Petr
    fd ma max 4 byty kdezto epoll_data_t 8, takze by se mozna dalo zneuzit zbyvajici misto... kdyz bude callback pointeru zarovnany na 8 bytu, vleze se 35bitova adresa do epoll_data_t, coz by mohlo obsahnout cele mapovani uzivatelske binarky. Pokud se omezite na 2 bytovej fd, tak se to tam vleze urcite.
    9.2.2016 15:54 Jardík
    Rozbalit Rozbalit vše Re: Petr
    No, na x86-64 a aarch64, což chci alespoň oboje podporovat (32bit je mi ukradený), tak oboje mají adresu 48bit. Pokud bude zarovnaná na 8, tak mám 16 horních bitů a 3 spodní bity k použití, popř. když adresu posunu doprava, tak 19 bitů. Na x86-32 architektuře bych se vešel se všemi fd, na x86-64 mi to dělá rozsah 0-524287. Myslíte, že je to rozumné omezení? Kdybych ukládal přímo adresu funkce, tak bych mohl předpokládat zarovnání 16, to je další bit a maximální fd 1048575. Ale zase příde uživatel o možnost pomocí offsetof() spočítat adresu své struktury a byla by nutnost mít nějaký 'userdata' ukazatel, takže si nepomohu.
    9.2.2016 16:17 tom
    Rozbalit Rozbalit vše Re: Petr
    A co ma mit ten uzivatelskej callback za argumenty? Pokud nestaci fd, tak bych nechal uzivatele registrovat strukturu, ve ktere bude ten fd, callback a union { void*; uint64_t }, kterou dostane callback jako argument a pointer na tuhle strukturu bych si daval do event_data.

    Pokud budete chtit pak nejakej pokrocilej callback s buferovanim, napr. on_line_read(), tak si to udelate pres pres jednu funkci navic a zakladni on_read() callback.
    9.2.2016 17:46 Jardík
    Rozbalit Rozbalit vše Re: Petr
    Původní myšlenka byla, že budu mít nějako strukturu, nazvěme ji třeba PollHandler, která bude obsahovat adresu callbacku. Ta bude 'embedována' v jiné, uživatelově, struktuře:
    typedef struct PollHandler PollHandler;
    typedef void (*PollCallback)(PollHandler*, int events);
    
    struct PollHandler
    {
      PollCallback callback;
    };
    
    struct MyUserStruct
    {
      int someMemberHere;
      PollHandler pollHandler;
      int moreMembersHere;
    };
    
    Uživatel předá fd, požadované události a pointer na PollHandler do funkce na začátek pollování. Pointer na PollHandler bych uložil do epoll_data (popř. ho zkombinoval s fd). Když dostanu event z epoll_wait, tak přečtu pointer na PollHandler a zavolám callback s adresou PollHandleru. Z něho si pak uživatel spočítá adresu struktury a ušetří tak jeden pointer na 'userdata'.
    // Po epoll wait:
    (*pollHandler->callback)(pollHandler, readyEvents);
    
    // a v callbacku
    void userCallback(PollHandler* h, int events)
    {
      MyUserStruct* us = (MyUserStruct)((char*)h - offsetof(MyUserStruct, pollHandler));
      // dělej něco
    }
    
    Jenže chci umožnit, že v samotném callbacku může uživatel jako reakci na danou událost odstranit (či přidat) další takové 'handlery', takže nastane situace, kdy mám třeba pár set descriptorů vrácených v bufferu z epoll_wait a uživatel odebere nějaký descriptor, který může být v tomto bufferu. Musím tedy odstranit nejen decriptor z epoll deskriptoru a pak lineárně projít ten buffer a kontrolovat epoll_data, jestli tam není a pak ho buď nastavit na NULL, nebo na místo něho dát poslední položku a o jednu zmenšit počet položek. A to je to, čemu chci zabránit, procházet lineárně ten seznam, což by mohlo být pak i několikrát za sebou.

    I kdybych použil další nepřímý ukazatel, kde bych měl ukazatel na uživatelův ukazatel, tak on by zase musel někam uložit tento, aby s ním pak mohl odstranit descriptor, abych ho zase já mohl uvolnit. To má za následek alokování další struktury s tím, že uživatel místo neušetří (musí si pointer schovat). Pak ještě budu muset udržovat linked list 'uvolněných' těchto bloků a až dojedu na konec bufferu, tak je uvolnit, popř. nechat pro další použití (asi lepší). ... No třeba by to nebylo špatné, ještě se nad tím zamyslím.
    11.2.2016 01:57 Jardík
    Rozbalit Rozbalit vše Re: Petr
    Takže nakonec to dopadlo takto:
    struct poll_handler
    {
      uintptr_t magic_value_1;
      uintptr_t magic_value_2;
    };
    
    Kde
    magic_value_1 = (((uintptr_t)fd & 0xffff0000u) << 48)
                   | (uintptr_t)callback
                   | (uintptr_t)flags;
    
    magic_value_2 =  (((uintptr_t)fd & 0xffffu) << 48)
                   | (uintptr_t)userdata;
    
       nebo (podle nastavení flags)
    
    magic_value_2 =  next_poll_handler;
    
    Tím mám 16 bytů na strukturu.

    Vejdou se tam uživatelská data (musí být platný ukazatel, tj. má 47 spodních bitů (pointery s bitem 47 (který se pak kopíruje i do zbytku do 63) jsou rezervovány pro kernel), zarovnání je nedůležité, spodní bity v userdata nepoužiji. Nahoře mám 17 bitů, použiju jen 16 a tam kydnu tam spodních 16 bitů deskriptoru.

    Pak callback, kompilátor funkce zarovnává na 16, a opět max je 47 bitů. Takže horních 16 bitů pro horních 16 bitů deskriptoru, spodní 4 bity na flagy. Flag zatím užiju jeden, 'removed'. Ten nastavím, když uživatel odstraní deskriptor, zároveň se přepíšou userdata na pointer na další odstraněnou položku ... jak tedy uživatel odstraňuje, dělám linked list odstraněných položek.

    Obsluhování bufferu je tak, že procházím položky. Když je bit 'removed' nastaven, položku přeskočím, když ne, zavolám callback a jdu na další. Až dojedu na konec, tak struktury nalinkuju do seznamu s 'volnými' handlery. Ty neuvolňuju a nechávám je pro další použití při přidání deskriptoru.

    No ... a stejně se mi to nelíbí, je to hrozná splácanina, jestli to za těch ušetřených 8 bytů, o které by struktura narostla, stojí. Ale asi by byla moc hezká:
    struct poll_handler
    {
      poll_callback cb;
      void *userdata_or_next;
      int fd;
      int flags;
    };
    
    Při 65k descriptorech to je půl megabajtu.

    Jinak koukal jsem na zdroják kernelu a epoll uchovává přidané položky v obrovských strukturách, nalinkované v červenočerném stromu a pak ještě linkované pomocí ready-stavu a pak ještě linkované jánevímčím. Přidání/odebrání/modifikace je tedy O(log N) a stojí syscall.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.