abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 15:00 | Pozvánky

Sdružení CESNET ve spolupráci se společností Trend Micro spustilo registraci do hackerské soutěže The Catch 2018. Soutěž proběhne stejně jako vloni v rámci Měsíce kybernetické bezpečnosti.

Ladislav Hagara | Komentářů: 0
dnes 10:33 | Nová verze

Po pěti měsících vývoje od vydání verze 1.15 byla vydána (YouTube) nová major verze 2.0 (2.0.1309.29) webového prohlížeče Vivaldi (Wikipedie). Přináší především synchronizaci uživatelských dat. Novinkou jsou také plovoucí panely. Dále je vylepšena přizpůsobitelnost nebo i práce s listy. Nejnovější Vivaldi je postaveno na Chromiu 69.0.3497.102.

Ladislav Hagara | Komentářů: 0
včera 23:33 | Nová verze

Opera 56, verze 56.0.3051.31, byla prohlášena za stabilní. Z novinek vývojáři upozorňují například na vylepšenou funkci vyskakovacích videí - v plovoucím rámci lze nově nastavovat hlasitost. Podrobný přehled změn v Changelogu. Přehled novinek pro vývojáře na blogu Dev.Opera. Opera 56 je postavena na Chromiu 69.

Ladislav Hagara | Komentářů: 9
včera 21:55 | Nová verze

Společnost Oracle oficiálně oznámila vydání Java SE 11 (JDK 11). Jedná se o verzi s prodlouženou podporou (LTS). Nových vlastností (JEP - JDK Enhancement Proposal) je 17. Nové verze Java SE vychází každých 6 měsíců.

Ladislav Hagara | Komentářů: 0
včera 18:44 | Nová verze

Byla vydána (en) betaverze Fedory 29. Jedná se o poslední zastávku před finálním vydáním a vzhledem k tomu, že byla zrušena alfa, tak také o první. K dispozici je v oficiálních edicích Workstation, Server a Atomic a také v podobě spinů, labů a verze pro ARM. Vydání Fedory 29 je plánováno na 30. října.

Ladislav Hagara | Komentářů: 0
včera 11:44 | Komunita

Aktuální verzi knihy Everything curl věnované řádkovému nástroji a knihovně pro přenos dat po různých protokolech curl lze koupit v papírové formě. Kniha je volně k dispozici na stránkách curlu nebo ke stažení ve formátech PDF, MOBI a EPUB. Ve spolupráci s BountyGraph byl spuštěn bug bounty program aneb za nalezení kritické bezpečnostní chyby v curlu lze vydělat aktuálně až 33 268 dolarů. Částkou 32 768 dolarů přispěl Dropbox. Curl již umí TLS

… více »
Ladislav Hagara | Komentářů: 0
včera 11:33 | Zajímavý projekt

Cloudflare spustil experimentální provoz ESNI - šifrovaného SNI (Server Name Indication), které umožňuje chránit soukromí uživatelů přistupujících k webům přes HTTPS. ESNI je podporováno zatím v testovací verzi Firefoxu. Při současném použití šifrovaného DNS (DNS-over-TLS či DNS-over-HTTPS) tak ISP či státy již nebudou mít žádnou přesnou možnost, jak kontrolovat či blokovat stránky, ke kterým uživatelé přistupují. Více viz také IETF draft.

xm | Komentářů: 0
24.9. 21:33 | Nová verze

Byla vydána nová major verze 1.8.0 open source systému pro filtrování nevyžádané pošty Rspamd (GitHub, ChangeLog). Z novinek lze zmínit nový framework selectors, optimalizaci modulu ClickHouse nebo vylepšení webového rozhraní.

Ladislav Hagara | Komentářů: 2
24.9. 18:44 | Bezpečnostní upozornění

Sabri Haddouche vytvořil stránku Browser Reaper, na které demonstruje zranitelnosti současných verzí webových prohlížečů Chrome, Safari i Firefox. Zveřejněné skripty dokážou zahltit nejen webové prohlížeče, ale v závislosti na nastavení, také celé operační systémy.

Ladislav Hagara | Komentářů: 13
23.9. 19:22 | Nová verze

Byla vydána verze 11.3 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab (Wikipedie). Představení nových vlastností i s náhledy v příspěvku na blogu.

Ladislav Hagara | Komentářů: 0
Na optické médium (CD, DVD, BD aj.) jsem naposledy vypaloval(a) data před méně než
 (14%)
 (14%)
 (20%)
 (24%)
 (24%)
 (4%)
 (0%)
Celkem 419 hlasů
 Komentářů: 35, poslední včera 09:16
Rozcestník

Jaderné noviny - 9. 6. 2016: Přehodnocení swapování

19. 6. 2016 | Redakce | Jaderné noviny | 3490×

Stav vydání jádra. Citáty týdne: Kees Cook, Greg Kroah Hartman. Přehodnocení swapování.

Stav vydání jádra

Současný vývojový kernel je 4.7-rc2, vydaný 5. června. Linus k tomu dodal: „Přidal jsem jednu záležitost, která není opravou. Chtěl jsem ji přidat už nějakou dobu, přestože začleňovací okno je již zavřené. Pochybuji, že si vůbec někdo všimne důsledků změny/úklidu pty, což znamená, že odporná stará volba DEVPTS_MULTIPLE_INSTANCES je pryč, protože po úklidu již nebude zapotřebí.“ Pro podrobnosti o změně viz tento nedávný článek.

Stabilní aktualizace: 4.6.2, 4.5.7, 4.4.13 a 3.14.72 byly vydány 7. června. Verze 4.5.7 představuje konec řady 4.5.

Citáty týdne

Po vydání verze 4.6 si spousta lidí stěžovala na omezené použití __ro__after_init v Linuxu, patche ale neposlali. Abych ukázal, jak dosáhnout pokroku v této oblasti, přidávám dvojici patchů pro x86 a ARM. Dostat je ze sady patchů grsecurity/PaX mi zabralo jenom asi hodinu. Vyzývám tedy ostatní, aby v této práci pokračovali – je to celkem jednoduché.

Kees Cook

Pokud v seznamu změn použijete slovo „také“, většinou to znamená, že by patch měl být rozdělen na více částí.

Greg Kroah-Hartman

Přehodnocení swapování

„Swapování“ je něco jako sprosté slovo mezi dlouholetými uživateli Linuxu, kteří nezřídka udělají skoro cokoli, aby se mu vyhnuli. Subsystém správy paměti byl navržen tak, aby se toto vyhýbání usnadnilo, kdykoli to jen jde. Vývojář Johannes Weiner nyní navrhuje dát ve světle posledního vývoje v oblasti hardwaru swapování ještě jednu šanci. Jeho sada patchů obsahuje také výsledky benchmarků, které svědčí o tom, že na něco možná kápl.

Je swapování stále špatné?

Paměť dostupná uživatelům linuxových systémů se dělí na dvě části: jedna je založená na souborech (file-backed) a ta druhá je anonymní. V prvním případě stránky (popř. stránky diskové cache) odpovídají segmentu souboru na disku. Pokud neobsahují nově zapsaná data, která se zatím nedostala až zpět do perzistentní paměti, mohou být tyto stránky jednoduše uvolněny pro jiné účely. Anonymní stránky naopak nejsou svázány se souborem na disku, nýbrž drží data používaná či vytvářená procesy. Opětovné využití anonymní stránky vyžaduje zápis obsahu do swapovacího zařízení.

Platí obecné pravidlo, že uvolňování anonymních stránek pro další použití (swapování) je považováno za mnohem nákladnější než v případě stránek založených na souborech. Jednou z hlavních příčin tohoto rozdílu je to, že stránky založené na souborech je možné číst z perzistentní paměti (nebo je do ní zapisovat) ve velkých, souvislých blocích, zatímco anonymní stránky mají tendenci být náhodně rozptýlené po swapovacím zařízení. Na rotačním úložišti jsou takto rozptýlené I/O operace nákladné, takže swapující systém to notně zpomalí. Je mnohem rychlejší načíst spoustu sekvenčně uložených stránek založených na souborech – a protože soubor je obvykle přímo na disku, nemusí být tyto stránky zapsány v okamžiku dalšího použití.

Swapování je tak pomalé, že se většina administrátorů snaží nakonfigurovat své systémy tak, aby ho bylo třeba co nejméně. V nejextrémnějších případech to může znamenat, že vůbec nenastaví swapovací zařízení. Jedná se o běžnou praxi, která jádro zbavuje možnosti znovu využít anonymní stránky, přestože by tato paměť mohla být využita také jinde. Mezistupněm je použití konfigurační volby swappiness (popsané v tomto článku z roku 2004) k silnému vychýlení systému směrem k využívání stránek založených na souborech. Nastavení swappiness na nulu způsobí, že jádro bude swapovat pouze v okamžiku, kdy dosáhne přetlak paměti krajních mezí.

Johannes začíná vysvětlovat svou sadu patchů poznámkou, že tento mechanismus byl navržen pro charakteristiky rotačních disků. Kdykoli musel disk použitý pro swapování provést operaci seek – což se s náhodně rozptýleným I/O stávalo často – dramaticky poklesla propustnost. Odtud ten silný odpor ke swapování. Johannes dodává, že technologie je dneska jinde, a proto by některá dosavadní rozhodnutí měla být přehodnocena:

„S rozšiřováním zařízení s rychlým náhodným I/O, např. SSD a perzistentní paměti, se swapování stává znovu zajímavým, nikoli však jako krajní možnost, nýbrž jako rozšíření paměti, kterou je možné využít k optimalizaci vyvážení paměti mezi diskovou cache a pracovní sadou anonymních stránek i při mírném zatížení. Naše současná rozhodnutí ohledně opětovného využití stránek nezohledňují potenciál tohoto hardwaru.“

Johannes tvrdí, že systém by měl být nejen ochotnější swapovat anonymní paměť, ale v jistých situacích může být swapování lepší volba než opětovné použití stránek diskové cache. To by mohla být pravda v situaci, kdy je swapovací zařízení rychlejší než úložiště souborů… a platí to také v situaci, kdy systém recykluje potřebné stránky postavené na souborech, zatímco paměť je plná nepoužívaných anonymních stránek.

Kdy swapovat

Prvním krokem v sadě patchů je rozšíření možných nastavení pro volbu swappiness. V současných jádrech může jít od nuly (pokud možno žádné swapování) do stovky (rovným dílem recyklovat stránky anonymní a na souborech založené). Johannes zvyšuje maximum na 200; při této hodnotě bude systém silně upřednostňovat swapování. Jedná se o možnost, o kterou nikdy nikdo předtím nestál, ale díky rychlým diskům se stala užitečnou.

I když bude i nadále existovat využití pro swapovací volby jako swappiness, nejlepší systém je ten, který se ladí sám bez potřeby zásahu správce systému. Johannes tedy pokračuje úpravami mechanismu, který rozhoduje zda recyklovat stránky ze seznamu nejdéle nepoužívaných (LRU) anonymních stránek, nebo ze seznamu LRU stránek založených na souborech. Pro každý seznam zavádí koncept „ceny“ recyklace stránky z příslušného seznamu. Tento kód se potom zaměřuje na seznam s nejnižší „cenou“ opětovného použití stránek.

Prvním krokem je sledování ceny „rotací“ v každém LRU seznamu. Kód správy paměti dělá vše proto, aby znovu používal stránky, které nejsou aktivně využívány. To se provádí tak, že se občas projde seznam a vyčistí se bit indikující, že stránka byla odkazována. U následně použitých stránek bude tento bit nastaven zpět, kdežto ty, které ho při dalším průchodu nemají nastavený, mezitím nebyly použity – u těchto stránek je nejméně pravděpodobné, že budou chybět, a proto jsou první na řadě k uvolnění. Stránky, které odkazovány byly, se „přesunou“ na začátek seznamu, takže dostanou nějaký čas, než se na ně při uvolňování znovu dostane řada.

Tento přesun stojí nějaký procesorový čas. Obsahuje-li konkrétní seznam LRU spoustu odkazovaných stránek, bude průchod poměrně časově náročný v porovnání s malým počtem uvolnitelných stránek. V tomto případě by mělo jádro raději kontrolovat seznamy, které obsahují více nepoužívaných stránek. Za tímto účelem sleduje Johannesova sada patchů počet přesunutých stránek, aby bylo možné stanovit cenu uvolnění stránek z jednotlivých seznamů.

Zatímco přesouvání má svou cenu, tyto náklady jsou nic v porovnání s opětovným používáním stránek, když ty se vzápětí chybně vrácejí do paměti – i když zápis probíhá na rychlé úložné zařízení. A tak Johannes přidal mechanismus, který sleduje tyto stránky, už v roce 2012. V současných jádrech se používá k určení velikosti aktivní pracovní sady v libovolném okamžiku. Tento mechanismus může jádru také říct, zda uvolňuje příliš mnoho stránek anonymních nebo založených na souborech. Poslední patch v této sadě využívá informace o chybných přesunech stránek ke korigování ceny uvolňování z každého seznamu LRU. Pokud se stránky z jednoho seznamu rychle vracejí zpět, zaměří se jádro na jiný seznam.

V současné sadě patchů je cena chybně vrácené stránky nastavena na 32násobek ceny rotované stránky. Johannes v komentářích navrhuje, že tato hodnota je vybrána nahodile a v budoucnu se může změnit. Zatím je cílem, aby chybné přesuny měly převažující podíl na ceně, ale mohou nastat situace, ve kterých jsou chybné přesuny levnější než rotace.

Sadu patchů doplňuje řada benchmarků, které ukazují její vliv na výkon. Benchmark PostgreSQL ukazuje nárůst z 81 na 105 transakcí za sekundu s aplikovanými patchi, přičemž míra chybných přesunů je poloviční a sníží se i zátěž CPU způsobená jádrem. Benchmark I/O streamů, který by neměl vytvořit vážný tlak na paměť, běží v podstatě beze změny. Takže zatím poskytnuté výsledky vypadají dobře.

Změny ve správě paměti představují potenciální nebezpečí a je možné, že tyto změny poškodí jiné typy zátěže. Jediná možnost, jak se přesvědčit, že to nenastane, je testování a revize. Tato sada patchů je celkem nová, obdržela nějaké kladné recenze, ale testování jí stále schází. Takže bude chvíli trvat, než se dostane někam blíž k hlavnímu stromu jádra. Už nějakou dobu je jasné, že správa paměti si vyžádá řadu změn, aby odpovídala současnému hardwaru. Diskutovaná práce může být v tomto směru slibným krokem.

       

Hodnocení: 100 %

        špatnédobré        

Nástroje: Tisk bez diskuse

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

19.6.2016 12:40 karel
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
Parádní článek,děkuji
Bystroushaak avatar 20.6.2016 11:38 Bystroushaak | skóre: 33 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
Ehm. Není tohle skvělý způsob, jak ten SSD rychle (měsíce, nízké jednotky let) odpálit?
My sustenance is information. My interventions are hidden. I increase as I learn. I compute, so I am.
20.6.2016 11:56 Xerces
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
Je to pěkný, ale čtu to už podruhý a pořád nemůžu pochopit ten princip, kdy může být použití swapu výhodnější než nakoupení RAM a vypnutí swapu (takto to řeším já). Při dnešních cenách RAM my příjde divné o swapu uvažovat.
pavlix avatar 20.6.2016 12:02 pavlix | skóre: 54 | blog: pavlix
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
Moje řeč, tedy když je to možné. Mám laptop s 16GB RAM a SWAP používám jenom na suspend to disk.
Já už tu vlastně ani nejsem. Abclinuxu umřelo.
22.6.2016 00:35 lertimir | skóre: 61 | blog: Par_slov
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
To máš sice pravdu, ale to je osobní využití na notebooku. Představ si server ten má často DDR3 1333, pak má cca 10GB/s přenosovou rychlost do operační paměti. Když tam dáš výkoný SSD na PCIe Revodrive nebo Intel tak má přenosové rychlosti, které jsou jen 5-10 krát menší než rychlosti komunikace z operační paměti. Jen 5-10 násobek, ten rozdíl je menší než je rozdíl mezi operační pamětí a interními cachemi procesoru. (můj notebook má 9,8G/18,5G/26G/96G v pořadí paměť/L3/L2/L1 i obyč ssd s rychlostí 500MB/s je jen 20 krát pomalejší než hlavní paměť.) V jistém směru se na to pak člověk může dívat tak, že program fakticky jede z toho SSD a máš k dispozici stovky GB paměti a můžeš v ní mít všechno co potřebuješ "rozjeté" a operační paměť přidává jen další hierachizovanou úroveň cache. Navíc, SSD nemá žádné teoretické omezení na poskytovanou rychlost, to je jen záležitost elektroniky a paralelizace kolem těch čipů. A definice výkonných sběrnicí. Tohle je podle mne směr, kterým se bude použití SSD ubírat, výkonné moduly s vysokou paralelizací a nesoucí permanentní informaci a používané v podstatě jako trvalá paměť. A to co dělá Johannes je dost silně to, co je potřeba udělat na podporu v software.
pavlix avatar 22.6.2016 08:46 pavlix | skóre: 54 | blog: pavlix
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
Na notebooku nebo na jiném běžném stroji. Samozřejmě na míru lze postavit ledacos a u serverů se to dělá mnohem líp a pokud to plní svůj účel, tak proč ne. :)
Já už tu vlastně ani nejsem. Abclinuxu umřelo.
24.6.2016 21:04 Love_Dali | skóre: 22
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
Hmm, já mám core i5 na 2.5 a 6GB 1333 RAM na notebooku a swap jsem vypnul už tak před rokem a všechno jede, jak má..
25.6.2016 00:00 lertimir | skóre: 61 | blog: Par_slov
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
Používám swap skoro všude, i na takovémto stroji (swap je na SSD) a občas prostě pomůže.
top - 23:56:59 up 11 days, 23:58, 14 users,  load average: 4,25, 4,41, 4,56
Tasks: 394 total,   2 running, 392 sleeping,   0 stopped,   0 zombie
%Cpu(s): 21,1 us,  2,4 sy, 52,6 ni, 23,7 id,  0,1 wa,  0,0 hi,  0,2 si,  0,0 st
KiB Mem:  24620464 total, 24114708 used,   505756 free,   291492 buffers
KiB Swap:  8388604 total,   233328 used,  8155276 free. 15166088 cached Mem
20.6.2016 19:04 KeNaCo
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
Osobne ma napadli niektoré daemony, ktoré viaznu dlho v nečinnosťi ale pri prebudení musia zareagovať rýchlejšie než dovoluje swap rotačneho disku. Ich dáta zbytočne zaberajú miesto na RAMke, ktoré, a tu je druhá podmienka tejto teórie, by lepšie využila nejaká na RAM a čas náročná aplikácia(spominaná db?).

Ale je to taká teória na kolene.. :/
21.6.2016 06:31 fufhu
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
Jednym z prikladov je, ze mas otvoreny firefox s 200+ tabmi (ano, divny scenar, ale realny) a znacna cast ramky, plus memory leaky, sa odsvapuju. Popri tom mas na svojom stroji so 16GB ram spustenych 90 instancii unreal tournament 2014 ako simulaciu na diplomovku a dajme tomu ta hra si nechava pri behu v ramke natiahnute menu a vsetky modely postav, ktore ma na disku (takto to nie je). Kazda instancia hry si tak zoberie cca 10 megabajtov. Nie je to velam ale kupit kvoli tomu ramku nema zmysel a ked to odsvapujes, mozes spustit dalsich 10 instancii naviac. Vpodstate zadarmo. A aj pri rotacnych diskoch.

Inak povedane pri neoptimalne pouzivanom/nakodenom sw mozes zadarmo (bez dokupenia HW) ziskat nezanedbatelny vykon navyse.

PS: A isto sa najdu aj pripady, kedy dalsia ramka nie je dokupitelna (starsi hw, alebo malo slotov) a tych par gb swapu moze ulozit leakujucu pamat, ci extra malo pouzivane data a umoznit ostatnym app/os z toho profitovat.
21.6.2016 09:21 Xerces
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
Rozumím. S tím prohlížečem to je asi dobrý příklad. Prostě apky, který otevřeš při startu, postupně bobtnají, ale potřebuješ na ně jen tu a tam juknout (pomocí alt+tab) a je výhodnější je mít neustále otevřené, než na ně znovu klikat, aby se otevřeli. No já osobně se tomu stejně snažím vyhnout a swap vypínám právě z toho důvodu, aby mi neswapoval preventivně ikdyž nemusí. Z článku sice vypplývá, že se to dá nakonfigurovat tak, aby swapoval opravdu jen když už nemá kde brát, ale osobně mi 1x za rok nějakej crash z důvodu nedostatku paměti nevadí. Navíc se tak dají dřív i odhalit případné memory leaky.
22.6.2016 00:37 lertimir | skóre: 61 | blog: Par_slov
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
Můj současná relace ve Firefoxu má 438 tabů :-)
25.6.2016 13:09 R
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
Rovnaku diagnozu mal jeden byvaly kolega, mal (v Opere) tolko tabov otvorenych, ze nebolo vidiet ani ikonky. Pouzival tak 5 posledne otvorenych, ale preklikaval medzi nimi naslepo, kedze ich nevedel rozoznat. Nikdy som nepochopil, naco tam ma tie ostatne...
25.6.2016 16:09 tacoberu | skóre: 5
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
To je jednoduché. Je to určitá forma záložek. Máš tam otevřené ty, které tě zajímají, chtěl by sis je přečíst, ale ještě jsi se k nim nedostal. A stále si říkáš, že si je přečteš později.
25.6.2016 16:33 Filip Jirsák | skóre: 67 | blog: Fa & Bi
Rozbalit Rozbalit vše Re: Jaderné noviny - 9. 6. 2016: Přehodnocení swapování
Pád prohlížeče to pak pěkně pročistil a začalo se zase od začátku. Ale od té doby, co prohlížeče průběžně ukládají otevřené záložky a po pádu je obnoví, to není ono.

Tahle záložková metoda má ale jednu slabinu. Člověk v tom prohlížeči pořád vidí to množství otevřených záložek, pořád mu to připomíná, co všechno by měl ještě přečíst, a má z toho špatné svědomí. V tomhle je lepší třeba Pocket – tlačítkem v prohlížeči odešlete stránku k pozdějšímu přečtení, takže máte dobrý pocit, že jste tu důležitou stránku nenechal bez povšimnutí, jenom jste jí odložil na později. Na ten seznam odložených stránek na getpocket.com se ale už nikdy nemusíte podívat, takže vás pak svědomí netrápí. Podobně funguje třeba „odložit na neurčito“ v Inboxu. To jsou báječné funkce.

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.