Dotaz: Po zálohování je zatuhnutý desktop a naplněný swap

[vasek]

Ahoj. Mám problémy se správou paměti. Mám prostředí KDE, distribuci Kubuntu 14.04, 8 GB RAM. Pokud spustím rsync, který zálohuji disk notebooku na externí disk, pak i po dokončení zálohování je spousta dat ve swapu a desktopu trvá dlouho než se "rozhýbá" - je hrozně zasekaný. Souvisí to s tím, že linux hyperaktivně swapuje. Zkoušel jsem následující nastavení sysctl:

vm.vfs_cache_pressure = 50
vm.swappiness = 1

A nezdá se, že by to pomohlo. Je ještě nějaký jiný způsob, jak říct jádru, že desktopové aplikace chci držet v RAM spíš než cache souborového systému? Swap vypínat úplně nechci.

Odpovědi

[pavele]

Sám používám na zálohování rdiff-backup, rsnapshot i rsync. Řešil jsem stejný problém na několika PC s RAM 500 MB až 12 GB.

Nastav vm.vfs_cache_pressure = 10000.

[vasek]

Žádné podstatné negativní dopady? Někde jsem se dočetl, že takhle vysoké hodnoty mohou způsobit pobláznění OOM killeru.

[pavele]

Ne, používám to nastavení přes pět let na několika non-stop běžících PC. OOM killer nemá žádný důvod ke spuštění.

[vasek]

Supr, díky. Vyzkouším.

[rich]

https://www.kernel.org/doc/Documentation/sysctl/vm.txt

vfs_cache_pressure ------------------

This percentage value controls the tendency of the kernel to reclaim the memory which is used for caching of directory and inode objects.

At the default value of vfs_cache_pressure=100 the kernel will attempt to reclaim dentries and inodes at a "fair" rate with respect to pagecache and swapcache reclaim. Decreasing vfs_cache_pressure causes the kernel to prefer to retain dentry and inode caches. When vfs_cache_pressure=0, the kernel will never reclaim dentries and inodes due to memory pressure and this can easily lead to out-of-memory conditions. Increasing vfs_cache_pressure beyond 100 causes the kernel to prefer to reclaim dentries and inodes.

Increasing vfs_cache_pressure significantly beyond 100 may have negative performance impact. Reclaim code needs to take various locks to find freeable directory and inode objects. With vfs_cache_pressure=1000, it will look for ten times more freeable objects than there are.

[manasekp]

co tak po dokonceni zalohy vypnout a zase zapnout swap? Urcite to neni idealni reseni ale aspon by melo byt funkcni.

[vasek]

To taky dělám, jinak je systém nepoužitelný. Naprosto ojediněle se ale stane, že mám zabráno hodně paměti spuštěnými programy a tak ten swap vypnout nemůžu.

[Peter Golis]

A co workarround s swapom cez zram? Na disk to nejde kedze to ostane v RAM, a je to komprimovane. Akurat to trochu straca zmysel pri odswapovani nekomprimovatelnych udajov.

[VM]

Tam je něco blbě - swap se používá, jen když dojde paměť na mapování procesů. Co ji sežere tolik? Samotné zálohování asi vyprázdní cache, ale swapovat by nemělo, tedy pokud tam není něco zprasené.

[vasek]

Běžně mi tam běží Netbeans IDE, mysql, postgresql, něco na návrh UML, návrh databází, webový prohlížeč s hodně taby. Je toho dost a samo o sobě to sežere větší část RAM - respektive když do toho přičtu i cache. Při běžné práci je odswapováno cca 200 MB. Po zálohování je ve swapu skoro 3 GB. Pak každé scrolování např. v netbeansu zabere několik vteřin a hromadu čtení z disku.

[Mti.]

A cgroups k dispozici... mate?

Pro zalohy sem zacal pouzivat toto, jinak virtualni stroje behem zalohy a po ni trpely jak zvirata:

renice +15 $$
ionice -p $$ -c 3

cgcreate -g memory:/cg_zalohy
echo 1G > /sys/fs/cgroup/memory/cg_zalohy/memory.limit_in_bytes 
echo $$ >> /sys/fs/cgroup/memory/cg_zalohy/tasks

... teda ted trpi taky, ale jak mensi zrivatka a neni to tak okate.

Pokud to chapu dobre... Za normalnich okolnosti si system mysli, ze je dobre data, co se "ted" pouzivaji drzet v cache. Zrovna pri zalohach se kopiruji uzasne objemy dat, co tu cache spolehlive zaplni a system si pak "rad" odlozi dost veci do swapu, protoze ty data v ram "zrovna" nikdo nepouzival... timto mu to "trosku" rozmluvite. ionice a renice byly pokusy z drivejsich dob.... pomohly, ale jen v malych objemech.

[Mti.]

ehm... zapomnel sem napsat, ze tim zacina prislusny zalohovaci script. Neni to urceno jako nastaveni celeho systemu. Asi to lidem dojde, ale radeji to pisu.

Prislusne nastaveni cgroups zdedi i dalsi aplikace spoustene z toho scriptu a dohromady se o tu pamet podeli. Pokdu mate malo ram, pridelte zaloham mene. Obycejny tar+pigz+scp si vystaci i s mensim mnozstvim. Zalezi co pouzivate.