Na čem pracují vývojáři webového prohlížeče Ladybird (GitHub)? Byl publikován přehled vývoje za duben (YouTube).
Provozovatel čínské sociální sítě TikTok dostal v Evropské unii pokutu 530 milionů eur (13,2 miliardy Kč) za nedostatky při ochraně osobních údajů. Ve svém oznámení to dnes uvedla irská Komise pro ochranu údajů (DPC), která jedná jménem EU. Zároveň TikToku nařídila, že pokud správu dat neuvede do šesti měsíců do souladu s požadavky, musí přestat posílat data o unijních uživatelích do Číny. TikTok uvedl, že se proti rozhodnutí odvolá.
Společnost JetBrains uvolnila Mellum, tj. svůj velký jazykový model (LLM) pro vývojáře, jako open source. Mellum podporuje programovací jazyky Java, Kotlin, Python, Go, PHP, C, C++, C#, JavaScript, TypeScript, CSS, HTML, Rust a Ruby.
Vývojáři Kali Linuxu upozorňují na nový klíč pro podepisování balíčků. K původnímu klíči ztratili přístup.
V březnu loňského roku přestal být Redis svobodný. Společnost Redis Labs jej přelicencovala z licence BSD na nesvobodné licence Redis Source Available License (RSALv2) a Server Side Public License (SSPLv1). Hned o pár dní později vznikly svobodné forky Redisu s názvy Valkey a Redict. Dnes bylo oznámeno, že Redis je opět svobodný. S nejnovější verzí 8 je k dispozici také pod licencí AGPLv3.
Oficiální ceny Raspberry Pi Compute Modulů 4 klesly o 5 dolarů (4 GB varianty), respektive o 10 dolarů (8 GB varianty).
Byla vydána beta verze openSUSE Leap 16. Ve výchozím nastavení s novým instalátorem Agama.
Devadesátková hra Brány Skeldalu prošla portací a je dostupná na platformě Steam. Vyšel i parádní blog autora o portaci na moderní systémy a platformy včetně Linuxu.
Lidi dělají divné věci. Například spouští Linux v Excelu. Využít je emulátor RISC-V mini-rv32ima sestavený jako knihovna DLL, která je volaná z makra VBA (Visual Basic for Applications).
Revolut nabídne neomezený mobilní tarif za 12,50 eur (312 Kč). Aktuálně startuje ve Velké Británii a Německu.
Aktuální vývojová verze jádra je 3.7-rc5 vydaná 11. listopadu. Jsem rád za to, že jde o docela malé -rc. -rc4 už bylo docela poklidné a -rc5 má commitů ještě méně. A ještě důležitější je to, že až na jeden revert a aktualizaci ovladače pinctl jsou to docela malé commity, obvykle jen jednořádkové.
Já třeba po POSIXu a po standardizaci obecně teskním. Myslím si, že je velmi smutné, že se v dnešní době posouvá mnoho věcí kupředu bez důkladné standardizace. Něco podobného, čemu se říkalo „Unixové války“, jsme měli v 80./90. letech a míříme k čemusi podobnému v Linuxu.
-- Jon Masters
Něco vám uniká; jde o jednu z největších schopností open source. Jde o dopad existence spousty očí (a mozků). Každý problém už asi někdo vyřešil, jde jen o to ho najít.
-- Russell King
Bohužel není nic jako EKERNELSCREWEDUP [kód pro „jádro to podělalo“], tak obvykle používáme EINVAL [neplatná vstupní hodnota].
Začátkem roku 2011 jsme se podívali na změny v tom, jak Red Hat šíří své úpravy v jádrech. Namísto oddělených patchů šíří tarball celého stromu – což je krok, jenž vyvolal spoustu kritiky. Tým Ksplice z Oracle nyní oznámil dostupnost gitového stromu, který rozděluje změny zpátky do jednotlivých patchů. Tým Ksplice radostně oznamuje veřejnou dostupnost jednoho ze svých gitových repozotářů, RedPatch. RedPatch obsahuje zdrojový kód všech změn, které Red Hat dělá ve svém jádře, co oprava, to commit, najdete jej na oss.oracle.com/git. Díky RedPatch se můžete dostat k rozděleným patchům pomocí gitu, procházet je online přes gitweb a volně je šířit pod podmínkami GPL.
Jon Masters sestavil přehled toho, jak fungují atomické operace na ARM, určený pro ty, kteří se nebojí hutných podrobností. Pro zajištění atomického přístupu na dané umístění v paměti implementují procesory ARM model enginu vyhrazeného přístupu. Dané místo v paměti je nejprve načteno pomocí speciální instrukce 'load exclusive', která současně nastaví vyhrazený přístup k dané adrese v enginu vyhrazeného přístupu pro aktuální CPU. Když je pak upravená hodnota zapisována zpět do paměti, tento engine pak při použití odpovídající instrukce 'store exclusive' ověří, že má platnou rezervaci na tuto adresu a dále potvrdí, že žádné vnější zdroje do commitu paměti nezasahují. V registru se pak vrátí úspěch nebo chyba.
Herton Ronaldo Krzesinski oznámil, že Canonical bude udržovat stabilní řadu 3.5.x, která byla součástí Ubuntu 12.10. Toto jádro bude podporováno stejně dlouho jako Ubuntu 12.10, což dle aktuálních plánů znamená až do konce března 2014.
Jednou z pěkných vlastností virtuální paměti je to, že se aplikace nemusejí zabývat tím, kolik paměti je na systému k dispozici. Člověk nemusí přemýšlet moc dlouho na to, aby si vybavil aplikace, jejichž vývojáři si tuto věc vzali skutečně k srdci. Často bylo ale navrhováno, že by systém jako celek mohl fungovat lépe, kdyby aplikace, jež projeví zájem, mohly být informovány, jakmile bude paměti málo. Takové aplikace by mohly reagovat snížením svých požadavků na paměť, čímž by mohly oddálit swapování nebo situace, kdy paměť dojde úplně. Posledním návrhem v tomto směru je nové systémové volání nazvané vmpressure_fd(); je nepravděpodobné, že by bylo začleněno v současné podobě, ale stejně stojí za zamyšlení.
Nápadem ukrytým za patchem Antona Vorontsova je vytvořit mechanismus, pomocí kterého bude jádro moci informovat uživatelský prostor, jakmile se mu nebude dostávat paměti. Aplikace by nejprve vyplnila strukturu vmpressure_config:
#include <linux/vmpressure.h> struct vmpressure_config { __u32 size; __u32 threshold; };
Pole size by mělo obsahovat velikost struktuy; jde o jakési verzování pro případ, že by se do struktury v budoucnosti přidávala další pole. Pole threshold udává minimální úroveň upozorňování, o kterou má aplikace zájem; dostupné úrovně jsou:
Aplikace nemusí při nízkém stavu nedostatku dělat nic, při střední úrovni může uvolnit některé cache a při největším nedostatku by mohla uvolnit vše, co jen může. V tomto případě by taková aplikace asi nastavila threshold na VMPRESSURE_MEDIUM.
Žádost o notifikace je jednoduchá:
int vmpressure_fd(struct vmpressure_config *config);
Návratovou hodnotou je popisovač, jenž může být použit ke čtení událostí v tomto formátu:
struct vmpressure_event { __u32 pressure; };
Současné rozhraní podporuje jen blokující režim, takže read() na vráceném popisovači nic nevrátí, než bude vygenerována nějaká notifikace. Aplikace mohou používat poll(), ale asynchronní notifikace přes signál SIGIO nejsou možné.
Interně nemá subsystém VM žádný jednoduchou představu o pojmu „nedostatek paměti“, tudíž tento patch musí něco takového doplnit. V tomto smětu je počítán „index neefektivity reclaimeru“ podle počtu stránek, které reclaimer zkoumá a toho, kolik z nich nemohlo být navráceno. Nutnost zkoumat velký počet stránek pro nalezení vhodných kandidátů znamená, že je obtížné nějaké najít – systém se jinými slovy dostává pod tlak. Index je poměrem neúspěšných pokusů o získání stránky ku počtu zkoumaných stránek vyjádřeným v procentech.
Toto procento je počítáno po blocích, standardně po každých 256 prozkoumaných stránkách. Tuto hodnotu lze měnit pomocí nové hodnoty sysctl vmevent_window. Současně lze ovlivnit to, při jakých hladinách jsou rozesílány notifikace: vmevent_level_medium (výchozí hodnota 60) a vmevent_level_oom (výchozí hodnota 99); úroveň „low“ je napevno na hodnotě nula, takže bude vyvolána kdykoliv začne systém aktivně hledat stránky.
Je tu i jeden dodatečný mechanismus pro detekci stavů, kdy došla paměť, protože může být těžké toto rozpoznat jen podle výše zmiňovaného indexu. Kód pro reclaim zahrnuje jistou „prioritu“, která řídí, jak agresivně se má snažit získávat stránky; hodnota začíná na 12 a klesá s tím, jak dřívější snahy nikam nevedou. Jakmile se priorita dostane na čtyři (výchozí hodnota, lze ji nastavit přes vmevent_level_oom_priority), tak se má za to, že se systém řítí do stavu, kdy dojde paměť, a je zaslána příslušná notifikace.
Někteří zpochybňují potřebu vytvářet další systémové volání. Už tu máme volání eventfd() určené k vytváření popisovačů pro notifikace od jádra. Používání eventfd() vyžaduje trochu zběsilejší používání, kdy aplikace nejprve získá popisovač od eventfd(), pak otevře soubor v sysfs a zapíše do něj číslo popisovače, aby došlo k propojení na určitý zdroj událostí. Jde ale o zavedenou techniku, kterou by bylo dobré zachovat. Další člověk zase navrhuje používat subsystém událostí perf, ale Anton věří, že perf přináší komplikace do něčeho, co mělo být relativně jednoduché.
Další stížnost souvisí s integrací (respektive neexistencí integrace) s „memcg“, řadičem využití paměti na bázi řídících skupin. Memcg už obsahuje notifikační mechanismus (popsaný v Documentation/cgroups/memory.txt), který dokáže informovat proces, jakmile řídící skupině dochází paměť; dávalo by smysl používat stejný mechanismus i pro tento účel. Anton odpověděl, že mechanismus memcg neposkytuje ty samé informace, nezahrnuje všechnu paměť a vyžaduje používání řídících skupin – což není úplně populární funkce jádra. I kdyby ale vmpressure_fd() bylo začleněno jako oddělený mechanismus, stejně by muselo být rozšířeno tak, aby fungovalo i na úrovni řídících skupin. Na kódu je vidět, že na tuto integraci bylo pamatováno, ale ještě nebyla implementována.
Vzhledem ke všem obavám je nepravděpodobné, že by se patch v aktuální podobě dostal do jádra. O něco podobného je ale zájem na systémech velkých i malých (Antonův patch byl zaslán z adresy na linaro.org). Tak jako tak snad bude jádro brzo mít mechanismus, pomocí kterého bude informovat procesy o tlaku na paměťový subsystém. Dalším krokem pak bude dotlačit aplikace k tomu, aby tyto notifikace odebíraly a zařizovaly se podle nich.
Nástroje: Tisk bez diskuse
Tiskni
Sdílej:
Otázkou je jestli není lepší nejprve tlačit na změny standardů.To je dobrá otázka. Ale zatím se mi daří tlačit leda tak na záchodě. Nebudu generovat tunu errat či draftů, které nikdy nikdo nezačlení a zatím nemám za sebou ani jeden úspěšný. http://tools.ietf.org/html/draft-gont-6man-slaac-dns-config-issues-00 Zatím moc žádná odezva a to je tam se mnou podepsaný člověk, který už se IETF nějak účastnil. Pokud se ke mě někdo připojí a pomůže mi opravy standardů prosadit, tak budiž. Do té doby ale radši budu produkovat funkční nestandardní implementace.
Celkově ale, ať už by to bylo implementováno jakkoli, jsem skeptický k praktickým výsledkům. Programátoři si buďto na paměť dávají pozor, a pak jsou jejich programy obvykle paměťově snesitelné, anebo na to kašlou, optimalizacemi se nezabývají, a tudíž ani s tímhle API se nebudou zabývat, se obávám...IMO pro autory virtuálních strojů / garbage collectorů to může být užitečné.
/proc
, možná rovnou i do /proc/meminfo
, kde by jádro jasně říkalo, jak moc potřebuje volnou paměť. Přece jenom GC nebo nějaká ta údržba paměťových struktur se nemusí pouštět zas tak často, aby to mělo nějaký zásadní vliv na výkonost.
No nevim no, unix signals jsou dost prasečina (hlavně způsob, jakým jejich obsluha přerušuje tok programu) a jsou vázány vždy na konkrétní proces, takže bys například nemohl funkcionalitu šetření paměti implementovat do sdílené knihovny / toolkitu bez nějaké explicitní spolupráce s hlavním programem.To je možné, ale zas na druhou stranu vidím několik - dle mého názoru zásadních - rozdílů: Např. nějak nedokážu pochopit, proč získání pouze orientační a obecné informace vůbec vázat na nějakou informaci o velikosti struktury. Další nevýhoda, kterou v tomto případě vidím, že kontrolu musím provádět průběžně za běhu programu, nebo před každou alokací paměti. Na co? Pokud chci sledovat informativní stav nějakého zdroje stačí mi tři udaje : dostatek, dochází, kritický stav. K předání takových informací se prostě skvěle hodí signály, nebo jediné systémové volání. Signály mají ještě tu výhodu, že si napíši a zaregistruji odpovídající obslužné handlery a a tím pádem mi odpadá pravidelná kontrola a problém se řeší až opravdu nastane. A pokud mě to nezajímá, žádné handlery neřeším a aplikace bude tím pádem veškeré snahy jádra ji předběžně informovat zatvrzele ignorovat.
Např. nějak nedokážu pochopit, proč získání pouze orientační a obecné informace vůbec vázat na nějakou informaci o velikosti struktury.Tak to je poměrně zvykem, že se podobná informace v těhle strukturách předává. Celkem bych ty 4 bajty neviděl jako problém. Krom toho, to je otázka tohohle konkrétního návrhu, klidně může to API být řešeno jinak. Jak píšou v článku, v téhle podobě to stejně nejspíš neprojde...
Na co? Pokud chci sledovat informativní stav nějakého zdroje stačí mi tři udaje : dostatek, dochází, kritický stav.Kvůli každýmu stavu zavádět další signál je imho blbost. Signály jsou určeny na správu procesů jako takových, ne detailů ohledně správy paměti procesu a už vůbec ne na IPC.
Signály mají ještě tu výhodu, že si napíši a zaregistruji odpovídající obslužné handlery a a tím pádem mi odpadá pravidelná kontrola a problém se řeší až opravdu nastane.Neodpadá, protože způsob, jakým se signal handlery vykonávají, je hrozně debilní. Ten handler se nevykoná v nějakým jiným vlákně, místo toho se prostě přeruší hlavní vlákno programu, jen tak hala bala, bez jakýchkoli ohledů na to, co se v něm dějě - takže to klidně přeruší thread-unsafe funkce, syscally, afaik i I/O, atd. Nemáš ale vyhráno ani ve chvíli, kdy už se spustí handler, protože se klidně může stát, že mezitím dorazí stejný signál znova nebo jiný a tvůj milej handler je přerušen, protože se vykoná jiný handler nebo bez varování znova ten samý. Takže v handleru toho nemůžeš moc dělat, rozhodně v něm nemůžeš uvolňovat někde nějakou paměť, protože to není reentrantní. Takže by sis stejně v signal handleru mohl tak akorát zamknout mutex, nastavit nějaký globalní příznak, odemknout mutex, co nejrychleji vypadnout a ten příznak pak vzít v úvahu během jiné činnosti programu, takže by tě to vyšlo úplně nastejno, jako s nějakým
poll()
. Nehledě na řadu možných race condition, pokud tvůj program používá víc vláken, což nejspíš používá.
Navíc u signálů není garantováno, že budou doručeny ve stejném pořadí jako byly vyslány. Takže by se technicky vzato mohlo stát, že by jádro vyslalo signál VMPRESSURE_LOW
a vzápětí VMPRESSURE_MEDIUM
, ovšem program by je obdržel v opačném pořadí, takže by se choval, jako kdyby systém měl paměti habaděj, což by ale ve skutečnosti nebyla pravda.
Celkově vzato, signály vypadají hezky na papíře, když ale člověk veme v úvahu tyhle detaily, tak zjistí, že signály jsou fakt dobrý tak akorát na SIGTERM
, SIGKILL
a podobně...
Nemáš ale vyhráno ani ve chvíli, kdy už se spustí handler, protože se klidně může stát, že mezitím dorazí stejný signál znova nebo jiný a tvůj milej handler je přerušen, protože se vykoná jiný handler nebo bez varování znova ten samý.
Jen pro pořádek: defaultně je signál, který se právě zpracovává, blokován. Můžete to samozřejmě potlačit, např. pomocí SA_NODEFER
, ale pak už si za své problémy můžete sám.
takže to klidně přeruší thread-unsafe funkce, syscally, afaik i I/OKvůli tomu se taky syscally obalují makrem TEMP_FAILURE_RETRY, které v případě návratové hodnoty -1 a errno == EINTR daný syscall zavolá znova.
To, co je ve výstupu ps
vidět jako stav D, může interně znamenat dvě různé věci (možná i víc, ve scheduleru se moc nevyznám) podle toho, jestli má task nastavený flag TASK_WAKEKILL - buď je opravdu nepřerušitelný nebo je sice nepřerušitelný, ale lze ho zabít signálem KILL
.
Jinak ale syscally, kde se čeká na I/O (read(), recv(), poll(), …) - a vlastně obecně syscally, kde se na něco čeká - by měly být přerušitelné. Userspace procesy by neměly ve stavu D viset zbytečně dlouho, pokud ano, je to většinou příznak, že něco není v pořádku.
před každou alokací pamětiDoporucuju si precist sekci BUGS v manualove strance malloc. K alokovani libovolne velke casti pameti potrebujete 0 az _pamet_nutna_pro_vytvoreni_tabulky_stranek_ B.
No nevim no, unix signals jsou dost prasečinaAsi tak, než signály je lepší mít otevřený deskriptor a toho se ptát, když na to je správný čas. Ostatně tak se dá pracovat i se signály samotnými - signalfd()
Ostatně tak se dá pracovat i se signály samotnými - signalfd()Aha, díky, to jsem neznal...
Jak kdy, treba signal poslany pri nevalidni instrukci se pres signalfd bude osetrovat velmi spatne. Obcas se proste hodi mit dalsi zasobnik.No nevim no, unix signals jsou dost prasečinaAsi tak, než signály je lepší mít otevřený deskriptor a toho se ptát, když na to je správný čas. Ostatně tak se dá pracovat i se signály samotnými - signalfd()
Bohužel není nic jako EKERNELSCREWEDUP [kód pro „jádro to podělalo“], tak obvykle používáme EINVAL [neplatná vstupní hodnota].V GNU Hurd už podobně barvitý chybový kód je -
EIEIO
aneb Computer bought the farm
(to první je odkaz refrén ve známé písničce, zatímco to druhé je v angličtině známý eufemismus), nícméně tam znamená spíše to, co v Linuxu panika jádra.