Dotaz: Swap a rychlost systému

[otula]

Tak mne dnes napadlo položit dotaz k něčemu, co už dlouho přehlížím. Na jedno starší PC s Celeronem a 256 MiB RAM jsem nainstaloval FreeBSD a trochu si hrál. Pootevíral jsem pár aplikací a koukal, že systém má stále stejné odezvy, nijak nezpomalil, tak jsem kouknul, kde je o tolik úspornější ve spotřebě paměti, než Linux. Nijak úspornější nebyl. Vesele swapoval a vůbec to na něm nebylo poznat. Podobně nepoznám, když používají swap Windows.

Doma problém nemám, mám 4 GiB RAM, ale v práci mám jedno 2jádro s 512 MiB RAM, na něm Linux, ale pokud si něco odloží do swapu, systém šíleně zpomalí. Opravdu šíleně. Takže po každé akci, kdy se tak stane, spouštím swapoff -a a swapon -a, aby byl ten počítač zase použitelný.

Otázka zní: dá se to nějak pozitivně ovlivnit, nebo je to prostě špatná vlastnost?

Odpovědi

[Prcek]

Swappiness jsi zkoušel nastavovat? Já kdysi jo, ale moc velký rozdíl jsem neviděl, ale za pokus to stojí .

[otula]

Swappiness pouze ovlivní, jak rád systém swapuje. To mi nepomůže. Mám ho samozřejmě nastaven tak, aby se mu do swapování moc nechtělo Já bych potřeboval vědět, zda se dá něčím ovlivnit, aby systém tak strašně nezpomalil v okamžiku, kdy má něco ve swapu. Navíc i když se paměť uvolní, tak si něco ve swapu ponechá a je stále pomalý.

[Prcek]

No s tím mám taky problémy - taky občas použiju to vypnutí a zapnutí swapu. Pokud jde o moment, kdy právě v ten okamžik systém swapuje a systém se zpomalí, tak by to šlo asi vyřešit nějakou prioritou, ale ten proces spouští jádro, tak nevím jestli to nebude mít vždy nejvyšší prioritu. Pokud jde o zpomalení dlouhodobé, pokud je něco odloženo ve swapu, tak to nevím. Těžko říct, čím to ovlivnit, možná to ovlivnit ani nejde.

Chtělo by to anketu, jestli třeba lidi s různými distribucemi a stejným HW mají ten problém všichni, nebo jen někdo. U linuxu obecně bych se ani nedivil, kdyby měl ten problém jen někdo, jako je to skoro se vším. Když má někdo problém, tak v diskuzi píšou lidi že jim to jde v pohodě, i když očividně to jiným nejde .

[otula]

Pokud jde o moment, kdy právě v ten okamžik systém swapuje a systém se zpomalí, tak by to šlo asi vyřešit nějakou prioritou

Tohle mne vůbec netrápí, s tím se musí počítat. Kde nic není, ani smrt nebere…

Pokud jde o zpomalení dlouhodobé, pokud je něco odloženo ve swapu

To je ten problém.

Když má někdo problém, tak v diskuzi píšou lidi že jim to jde v pohodě, i když očividně to jiným nejde

Jj, to je výstižné A ještě se do toho míchá subjektivní pocit jednotlivce, co znamená "v pohodě"

[Filip Jirsák]

Pokud je potřeba k běhu programu víc paměti, než je dostupná RAM, zpomalí se systém vždy, ať je to Linux, Windows nebo *BSD – čtení z disku je několikanásobně pomalejší, než čtení z RAM. Jsou tedy dvě možnosti – buď máte pod Linuxem spuštěno víc programů nebo mají tyto programy větší nároky na paměť, nebo má váš Linux špatný algoritmus pro výběr toho, co může odložit do swapu – a odkládá tam věci, které bude následně potřebovat. Pokud ale můžete odstranit swap, aniž by programy skončily s nedostatkem paměti, zřejmě problém v nedostatku fyzické RAM nebude. Takže záleží na tom, jak máte nakonfigurovaný celý subsystém správy paměti a IO. To ale záleží třeba na tom, zda jste si kompiloval jádro s vlastním nastavením, nebo máte nějaké standardní dostribuční.

[otula]

Na tom zmiňovaném počítači je distribuční jádro (32bit Arch Linux). Narozdíl od toho, co mám doma, jsem se v něm nijak nehrabal, abych s tím měl minimum starostí.

[Jakub Lucký]

Dá se nastavit, aby to víc či míň swapalo... od toho je tu proměnná sys.vm.swappiness... Ale proč je to pomalé při používání swapu, to by měl být hlavní zdroj problému...

[Filip Jirsák]

Ale proč je to pomalé při používání swapu

Protože je disk pomalý. Hlavní problém je, proč něco čte ze swapu, když by asi měl mít dost místa v RAM.

[otula]

proč něco čte ze swapu, když by asi měl mít dost místa v RAM

Ne "asi", ale určitě. Samozřejmě, že v okamžiku, kdy tam něco odloží, mu to místo chybí. To je v pořádku. Jenže potom ta nenažraná aplikace skončí, místo se uvolní, ale systém zůstane zpomalený, dokud ručně nevyčistím swap. A právě u toho FreeBSD jsem koukal, že mám ve swapu tolik dat, že by se ani do RAM nevešly, a přesto to nebylo na odezvách systému znát - asi dokáže lépe zhodnotit, co do swapu přesunout.

[Filip Jirsák]

„Asi“, je to vaše domněnka… Co v takovém okamžiku ukazují free, vmstat, iostat, slabtop?

[otula]

Na to mohu zítra mrknout. Obvykle kouknu pohodlně na obsazení paměti zobrazené v KInfoCentru a bývá obsazeno kolem 35 % RAM aktivně + 35 % disková cache a zbývajících 30 % je volných. Přitom ve swapu (stejně velkém jako RAM) zůstává obsazeno 5 – 8 % (koukám tam, abych náhodou neshodil swap, když ho systém potřebuje).

[Semo]

Asi pred rokom az rokom a pol som si vsimol zmenu spravania linuxu pri vytahovani veci zo swapu. Swap sa neuvolni (podla grafu v taskbare). Matne si spominam, ze je to feature a nie bug a to taka, ze v tomto pripade je v swape je kopia toho co v RAM. V pripade, ze sa casom zasu bude musiet odkladat na swap a zase sa vyberu stranky, ktore tam uz raz boli a nezmenili sa medzitym, tak sa len v uvolnia z pamate, v swape zase oznacia za platne a usetrili sme pisanie na disk. V pripade, ze ktorakolvek podmienka nevyhovie, tak sme tam, kde sme boli pred 2 rokmi a normalne sa odswapuje. To je podla mna vysvetlenim, ze vecne zaplneneho a neuvolnovaneho swapu.

Stelovat swapiness nemusi byt az take jednoduche a bezproblemove. Ak nastavis jadru velku nechut ku swapovaniu, tak jeho rezerva volnej pamate bude mala. V momente ked potom spustis nieco, co uz sa do RAMky nevojde musi odkladat viac pamate, nez keby uz pri mensom obsadeni pamate si nieco odlozil do swapu. Proste pri hybani so swapiness si myslim, ze by si mal fakt vediet co robis a nemysliet si len, ze je to zazracne nastavenie, ktore vsetko urychli. Keby to tak bolo, tak defaultna hodnota nebude 60 (ibazeby to bolo tak, ze zli chlapci z MS to presadili, aby spomalili linux).

Tvojim cielom nie je mat zapratanu RAMku a prazdny swap, ale co najrychlejsi pocitac. Obavam sa, ze liecis priznaky (a to este blbo) a nie pricinu.

Ci linux robi nieco ako preventivne odkladanie do swapu s tym, ze kopia stale ostava v RAMke a je vlastne pripraveny aj na moznost, ze to bude treba skutocne odlozit aj na moznost, ze prave tieto stranky nahle zacne potrebovat, si nie som isty. Mam matny dojem, ze boli take navrhy, ale Linus to zamietol (ale mozem sa mylit). To s tym chovanim z 1. odstavca som si skoro isty.

[Filip Jirsák]

Asi pred rokom az rokom a pol som si vsimol zmenu spravania linuxu pri vytahovani veci zo swapu. Swap sa neuvolni (podla grafu v taskbare). Matne si spominam, ze je to feature a nie bug a to taka, ze v tomto pripade je v swape je kopia toho co v RAM. V pripade, ze sa casom zasu bude musiet odkladat na swap a zase sa vyberu stranky, ktore tam uz raz boli a nezmenili sa medzitym, tak sa len v uvolnia z pamate, v swape zase oznacia za platne a usetrili sme pisanie na disk. V pripade, ze ktorakolvek podmienka nevyhovie, tak sme tam, kde sme boli pred 2 rokmi a normalne sa odswapuje. To je podla mna vysvetlenim, ze vecne zaplneneho a neuvolnovaneho swapu.

To by dávalo smysl, pokud by byl zaplněný swap, ale data dostupná z RAM se četla z RAM. Ale v tomto případě se data zřejmě čtou z disku, takže v RAM asi nejsou.

[otula]

Tvojim cielom nie je mat zapratanu RAMku a prazdny swap, ale co najrychlejsi pocitac. Obavam sa, ze liecis priznaky (a to este blbo) a nie pricinu.

No jo, jenže já jsem ty příznaky nezačal "léčit" z dlouhé chvíle, ale právě proto, že systém si udělal velkou diskovou cache, zbývalo mu ještě asi 50 MiB volném RAMky, on si jí ale část odswapoval a zpomalil. Kdyby to nedělal, nikdy bych na swappiness nesahal

[Semo]

Diskova cache nie je zlo. Skus si nejaky disk namountovat s optionom sync a uvidis (podla manualu je sync respektovane pre ext2, ext3, fat, vfat a ufs). Tym, ze donutis jadro zmensit cache a zvacsit pamat pre procesy vylepsis iba niektore pripady pouzitia. Napr. vypocet, ktory potrebuje hodne RAM. Ale naopak spomalis take bezne pouzitie ako napr. spustanie aplikacii.

Samozrejme jadro nie je vestec a obcas vyplachne pamat vytvorenim diskovej cache stranok, ktore bude nablizsie potrebovat az o mesiac. Ale ak tvrdis, ze sa systematicky rozhoduje blbo a spomaluje ta, tak to ma len par moznych dovodov:

1.) Mas skutocne malo RAM a ani ked sa obesis sa to nezlepsi - dokupit RAM

2.) Vytvaras dokonale nestandartnu zataz, s ktorou nikto nepocital a jadro sa rozhoduje blbo. V tom pripade by ma zaujimalo co je to zataz, pretoze pravdepodobne vacsina uzivatelov sa s nou nestretava.

3.) bod 1 + postelovanie swappiness - zamaskovanie skutocneho problemu (a jeho mozne zhorsenie, prip. zlepsenie). Aku vlastne pouzivas swappiness a co to zmenilo oproti defaultnej hodnote?

Odporucam par viet o swappiness.

[otula]

Diskova cache nie je zlo.

To já vím a opak netvrdím :)

par moznych dovodov:

1. Je tam 512 MiB. Není to moc, ale jak jsem psal, FreeBSD jsem rozběhnul na mnohem pomalejším počítači s polovičním množstvím RAM. Bylo o něco pomalejší, ale v pohodě použitelné, a v okamžiku zaplnění RAM jsem to vůbec nepoznal
2. KDE, Konqueror, Opera, Firefox (podle toho, který uživatel tam zrovna sedí) + flashplugin, Thunderbird, Kopete, KPDF, OOo…
3. swappiness mám nastavenu na 40. Změnilo se to, že systém vydrží malinko déle, než odswapuje.

[Semo]

2.) No, to su IMO programy, o ktorych sa neda povedat, ze by vobec nesahali na disk. A vsetky dokazu zozrat velke mnpzstvo pamate. Pokial maju browsery nastavene cachovat na disk, tak osekat z jadra diskovu cache fakt nemusi byt dobrym napadom na zrychlenie. Natahovanie pri starte je tiez nahananie obrovskeho kvanta suborov po celom disku. Moje prakticke skusenosti so swappiness su male (chvilu som sa s tym hral a nevidel som v tom zlepsenie, tak odvtedy si o tom iba citam), ale podla toho co si ja myslim (napriklad z linkovaneho textu v JN z pred roka a pol) zmensenie swappines v tomto pripade zice mozno problem trocha oddiali, ale nasledne zhorsi.

Moje tipy (ale len tak plkam, ja som podobne problemy nezazival, ked som mal 512MB RAM; riadil som sa hlavne bodmi 2, 4 a pouzival iba Operu):

1) Rozhodnut sa, ci je rychlejsie swapovanie na disk lebo siet. Podla toho nastavit cache browserov, pripadne ju vypnut uplne (prip. iba 20MB v RAM a nic na disku).

2) V KPDF nastavit male vyuzivanie pamate (cachuje uz vyrenderovane stranky). V OOo je tiez nastavenie pouzivanej pamate (pocet undo krokov a pod)

3) Vo FF osekat pluginy, ktore nie su nutne k zivotu. V Opere (pomocou cez cmdline optionov nespustat mail, torrent atd). V KDE sa da nastavit pocet preloadnutych Konquerorov.

4) Vychovat uzivatelov, ze to nie je stroj na simultanne spustanie 5 pamatovych molochov.

5) Neisty tip: Namiesto KDE mat iba nieco lahke, napr. IceWM. Len pri velkom pouziti Konquerora sa ustri nejaka pamat zdielanim kniznic. Ostatne programy su aj tak na KDE nezavisle, takze zaplacavas pamat kniznicami na jedno pouzitie.

6) Skontrolovat, ci disk nie je beznadejne fragmentovany. Neriesi to zaplnenost RAM, ale akykolvek iny pristup na disk. Pripadne vyhradit particiu pre cache browserov, nech disk seekuje aspon po blizkych sektoroch a nie po celej ploche.

[otula]

zmensenie swappines v tomto pripade zice mozno problem trocha oddiali, ale nasledne zhorsi.

No, to je možné

Moje tipy

Díky za tipy, i když některé z nich bude asi potřeba udělat u každého uživatele samostatně. Pokud by to zde ještě někdo četl a chtěl vědět ty parametry Opery, jsou zde.

Místo KDE jim nic jiného dát nemohu. Pro některé je i KDE příliš složité na ovládání. Natož aby hledali připojený flash disk někde jinde

Zkusím zjistit, co by se dalo dělat s případnou fragmentací.

[Semo]

Opera:

Tie optiony idu zistit aj opera -help. Pre Operu existuju subory /etc/opera6rc a /etc/opera6rc.fixed. Kde prvy su nastavenia predefinovatelne uzivatelmi a ten druhy su veci natvrdo nastavene uzivatelom bez moznosti odmietnutia. Mozno nieco podobne bude existovat aj pre ine programy.

[otula]

Díky za info. Vůbec jsem je v systému neměl (distribuční balíček je neobsahuje), ale koukal jsem, že v originál balíku jsou, určitě pro ně najdu využití

[Semo]

strace opera 2>&1 | grep "open.*/etc"

Podobne by sli preklepnut ostatne programy, ci nemaju nejaky utajeny globalny konfigurak.

[otula]

Tak si říkám, že občas položit dotaz vůbec není špatné. Člověk se hned něco přiučí

[stativ]

A ještě mnohem rychlejší to bude, pokud budeš volat strace -eopen. Potom se bude trasovat jenom otevírání, takhle se tracují i systémová volání atd.

[otula]

Jo, ještě jsem zapomněl k bodu 1: RAM tam dokoupit nemohu - není to můj počítač, ani nejsme "normální" firma, která si může dělat, co potřebuje. Chtěl jsem tam doplnit 512 MiB své paměti, ale jsou tam 2 páry slotů pro různé typy RAM a nelze je zkombinovat - úplně nanic :-/

[Filip Jirsák]

No jo, jenže já jsem ty příznaky nezačal "léčit" z dlouhé chvíle, ale právě proto, že systém si udělal velkou diskovou cache, zbývalo mu ještě asi 50 MiB volném RAMky, on si jí ale část odswapoval a zpomalil. Kdyby to nedělal, nikdy bych na swappiness nesahal

To může být ale právě ten problém. Systém nepotřebuje tolik dat v RAM, ale zato potřebuje číst soubory z disku -- normálně by část nepoužívané RAM odswapoval a volnou kapacitu použil pro diskovou cache. Tím by se celý systém zrychlil. Vy mu ale tohle zakážete, a systém pak musí data načítat z disku. Právě proto jsem psal, že zpomalení nemusí být problém tahání dat ze swapu místo z RAM, ale že z nějakého důvodu tahá data z disku. Kdybychom alespoň věděli, o aplikace jakého druhu se jedná, mohli bychom to zkoumat víc -- pokud ten zpomalený systém nemá žádný důvod přistupovat k souborům na disku, ta moje teorie samozřejmě nemá smysl.

[otula]

Filipe, nejsem si jistý, jestli si dobře rozumíme v té citované větě. Na swappiness jsem sahal proto, že byl systém pomalý, ne proto, že by mi z principu vadilo, že si odkládá něco do swapu. Jak jsem psal, u Windows ani FreeBSD mi používání swapu nevadí. Navíc jsem na to sahal, až když více lidí nadávalo, jak je ten počítač pomalý. Přišli, přihlásili se a nedalo se tam pracovat, protože po někom, kdo tam seděl předtím, zůstalo něco ve swapu. Takže polovina RAM byla volná, něco bylo ve swapu a systém reagoval jak hlemýžď. Z tohoto důvodu jsem tam také vyměnil 64bitový systém za 32bitový, protože v 64bitovém to dělalo totéž, ale ještě dříve. To FreeBSD jsem zkoušel také vlastně jen proto, že hledám cestu, jak tohle celé vyřešit. Pokud se mi podaří na něm rozchodit, co potřebuji, asi bych to vyměnil, jenže mám s tímto systémem nulové zkušenosti.

Co se týká používaných aplikací, odpověděl jsem výše - je tam KDE a používá se jen pro přístup na internet (je to taková "internetová kavárna" - nesmíme mít totiž síť připojenou), takže prohlížeče, poštovní klient, OOo…

[Filip Jirsák]

Pořád nevidím žádný důkaz, že za to zpomalení může swap. Proto bych se místo laborování se swapem nejprve zaměřil na to, co systém skutečně zpomaluje. Jako první můžete zjistit, zda je to skutečně přístup k disku -- pokud je disk slyšet nebo máte na počítači funkční kontrolku aktivity disku, zjistíte to snadno. Pokud budete vědět, že systém zdržuje disková aktivita, můžete pokračovat ve zjišťování, zda je to swap nebo normální souborové operace.

[otula]

Nevím, zda se to dá brát jako důkaz, ale po vyčistění swapu systém okamžitě viditelně zrychlí.

[Filip Jirsák]

Podle mne zrušení swapu zamává s celým systémem tak, že to ovlivní kde co.