Swap na ZRAM (diskuse)

[Peter Golis]

A bude fungovať aj hibernácia, pochopiteľne v kombinácii SWAP na ZRAM a aj na disku?

[Bherzet]

Ve výchozí instalaci Fedory bude vytvořen swap pouze na ZRAM, ale stále bude možné vytvořit „klasický“ swap na logickém nebo diskovém oddíle při ručním rozdělení disků. V takovém případě budou vytvořeny dva odkládací oddíly — jak swap na ZRAM, tak klasický (swap na ZRAM má v tomto případě nastavenou vyšší prioritu).

Klasický odkládací oddíl budete chtít vytvořit hlavně v případě, že používáte uspávání na disk (hibernaci). Ta totiž logicky se ZRAM nefunguje.

[zram]

Zram jsem zkoušel se smíšenými pocity, spíše to nefungovalo než fungovalo.

[Peter Golis]

Ja som používal ZRAM na Gentoo, a aj Ubuntu už pred rokmi. Problémy som nezaznamenal, a to ani pri hibernícii (ktorá išla na disk).

Teda okrem jednej drobnosti. Keď mi zaliezli do ZRAM SWAP-u nejaké už nekomprimovateľné multimédiá, tak to akurát vyžralo RAMku ale bez kompresie. Ale to je pochopiteľné.

PS: Držím Fedore palce, nech sa im darí s touto technológiou.

[soukolík]

Bude stále možnost vypnout nebo nevytvořit swap?

[Peter Golis]

Zram je len služba, takže ju stačí zakázať, vypnúť a poprípade aj odinštalovať.

[.]

Už z principu to nemůže být běžná služba. Ale "vypnout" to samozřejmě jde.

[BFU]

Jak je definovana "bezna sluzba" a jaky je rozdil od "ne-bezne sluzby" ?

[billgates]

Bezna sluzba je to, co je vylistovane v systemctl list-unit-files :)

[Peter Golis]

# systemctl status zram-config.service 
● zram-config.service - Initializes zram swaping
     Loaded: loaded (/lib/systemd/system/zram-config.service; enabled; vendor preset: enabled)
     Active: active (exited) since Wed 2020-08-12 07:26:18 CEST; 1s ago
    Process: 34399 ExecStart=/usr/bin/init-zram-swapping (code=exited, status=0/SUCCESS)
   Main PID: 34399 (code=exited, status=0/SUCCESS)

...

[Xerces]

Přečetl jsem si odkaz, ale stále nemůžu pochopit, proč bych to měl využít místo toho, abych swap úplně vypnul a ušetřil tak paměť.

[Conscript89]

Mozna protoze to neni "misto toho" :)

[OldFrog {Ondra Nemecek}]

Podle mě ZRAM swap sám o sobě ale nic nezabírá, paměť šetří tím, že odložitelné stránky komprimuje.

[Heron]

Proč ten swap rovnou nevypnou? Jaký má význam umístit swap oddíl (který se používá pro odkládání stránek při nedostatku paměti) do paměti? Tedy ve výsledku bude paměti pro OS ještě méně a bude o to více swapovat právě do ram, kterou jsme mu sebrali. WTF?

[prqek]

Záleží na efektivitě té komprimace. Jen hádám, ale čekal bych, že v operační paměti bude spousta opakujících se vzorů, takže by to mohlo jít zkomprimovat celkem slušně.

[BFU]

Obzvlast kdyz mas v pameti nejake velke ridke data (spousta nul a mezi tim neco malo), tak se to komprimuje dobre a vylejt ty data na disk a znova je nacist ma vetsi overhead nez je zkomprimovat, zapsat do pameti a pak znova rozkomprimovat.

[Heron]

Oni operují s 50%. Tj 2GB swapu = 4GB dat. To mi přijde jako poměrně optimistické, ale snad to mají změřené.

Jen pro příklad:

ARC: 21G Total, 2798M MFU, 18G MRU, 4332K Anon, 142M Header, 552M Other
     20G Compressed, 23G Uncompressed, 1.18:1 Ratio

Jasně, není to swap, je to io cache, ale i tak. Jen 15% úspory.

Navíc co se stane při page in? Dejme tomu, že mám ve swapu 1GB dat (optimisticky to zabírá 500MB), potřebuju to vytáhnout. V této chvíli bude potřeba z paměti (která je plná) uvolnit další 1GB dat a umístit do swapu, tj alokovat dalších 500MB ve swapu (a tedy nutnost dalšího uvolnění paměti). Potom teda vytáhnu těch původních 1GB zpět do paměti a swap zmenším o těch 500MB.

Co tím chci říct. V jednom okamžiku bude potřeba držet paměť jak pro ty data, tak pro swap verzi těch dat. A pokud to nepůjde dobře komprimovat, tak náhle potřebuju dvojnásobek paměti.

[trubicoid2]

no sám říká 18 %, ale taky záleží, čím máš to ZFS komprimovaný, lzo, lz4? ten zram bude mít asi zstd

[Heron]

Tohle ZFS nemám komprimovaný. FreeBSD má od verze 10.4 (asi) vfs.zfs.compressed_arc_enabled = 1, kompresi nevím (ze zdrojáků jsem to v rychlosti nevyčuměl).

[Bedňa]

Ja som pozeral, či to nie je v sekcií humor, tam to určite patrí.

Reálne už nikde swap nepoužívam, nie je prečo, do swapu maximálne uspávam. Prv som používal swap na rozsiahle výpočty 3D ciest v CNC ktoré zožrali aj cez 20GB a pretože sa výpočty vliekli, tak to rýchlosť disku nijak nevadila.

Celý RedHat je už len paródia, čo kurvý Linux enviroment. Ľudia ako obvykle v IT OK, mno manažéri kompletní kokoti, ako v každej korporácií.

[billgates]

*kurví

[Bedňa]

Tak toto všetko úplne mení.

[billgates]

Kazda korporacia je proste sracka. Nadseni ludia, co firmu zakladali, sa na to casom vykaslu alebo sami sa zkorporatizuju. Po case tam zacne bujniet kokotnost v manazmente, kokotnost (aj ked ineho typu) u zamestnancov. Caka to uplne kazdu jednu firmu, na svete neexistuje jedina vynimka. Preto si osobne myslim, ze je dolezite nie len to, ze projekty zacinaju, ale aj to, ze musia raz umriet a byt nahradene novymi. Evolucia zjavne funguje.

Niekedy bol dobry napriklad google a teraz je to skrz-naskrz firma prerastena kokotmi. Jediny normalny zamestnanec tam uz nezostal. Alebo taky RedHat. Pripadne aj na rodnej hrude mame dobry priklad - ESET. Banda brutalnych kokotov, od vrchu az po spodok. Je to osud kazdej korporacie.

[Bedňa]

Kedysi som sa tu k podobnému problému korporácií vyjadroval, proste človek dokáže efektívne riadiť, tak do 150 zamestnancov. Nad tento počet začínajú problémy s tým, že "najvyšší" začne mať problém, kto tam čo robí. Časom začnú pribúdať zmrdi o ktorých potrebnosti a nepotrebnosti nikto nemá ani šajnu.

Sám som pracoval v korporáte a dnes mi ani nepríde divné, že ich ľavou zadnou skupujú čínske firmy. Nie žeby komunizmus bol lepší obchodný model, to skôr tá aziatská kultúra, čo je viac komunitná, hoci tiež už korporátna, ale inak.

Keď som v korpárate povedal, že do leta odídem, tak mi nikto neveril. Máš výborné zmestnanie, ľudia robia na teba a podobné kecy. Všetci očakávajú, že každý chce vyššie a vyššie až časom bude vykonávať pozíciu o ktorej vie hovno a má na ňu nulové predpoklady.

Takže dnes som zas na dne a som spokojný, že robím čo ma baví. A občasne keď ma niečo sere, tak si hovorím, že pôjdem proste ešte niekam ďalej do prdele, kde ma to zas bude baviť.

Dosť mi pomohlo, si oslobodiť mysel aj tým, že som vypadol zahranice.

[Heron]

Já jsem v korporátu nikdy nepracoval (asi bych si to měl ze srandy zkusit), ale v poslední době mě překvapil tento příběh kluka nakaženého covidem (to je hlavní téma reportáže), ale už jen to, jak se vyjadřuje o své práci a pracovním prostředí, o tom, že nesmí znát jméno kolegy, protože GDPR, mě teda šokovalo. To se tam nikdo nebaví mezi sebou? Všechno se řeší jen přes "manažera"?

[Peter Golis]

Sú krajiny kde platí silnejšia ochrana osobných údajov ako je v súčasnej GDPR.

A potom sú projekty, kde kvôli previerke ľudia nepoznajú svojich kolegov.

Ťažko povedať o ktorú možnosť išlo. Ale v obidvoch prípadoch to rieši ticketovací systém na distribúciu pracovných zadaní.

[Jendа]

Audio, kde nelze nastavit rychlost (takže neudržím pozornost) a mixování kanálů (stereo je mi extrémně nepříjemné a pulseaudio module-remap-sink vkládá lag kolem sekundy, takže se pak po každém seeknutí všechno zasekne zatímco se plní buffer; normálně to řeším audiofilterm v mplayeru). V youtube-dl to podporované není a oni nemůžou poskytnout normálně zvukový soubor, abych si to přehrál v normálním přehrávači, který mám nastavený přesně tak, jak mi vyhovuje, ačkoli k tomu na rozdíl od některé konkurence ani nemají důvod (například do toho nevkládají žádnou nepřeskočitelnou reklamu), takže jediná možnost by byla pustit to v prohlížeči na pozadí, nagrabovat přes loopback zvukovku, a teprve takto získaný soubor si pustit. Ach, jak je skvělé chodit na web v roce 2020.

[Bherzet]

A přitom by je nezabilo tam ten odkaz na zdrojovou MP3 vrazit, co?

[Jendа]

Tak tohle jsem fakt nečekal, youtube-dl jsem na obsah toho rámu pouštěl, a čekal jsem, že to URL ve zdrojáku najde. (ručně jsem ho nehledal)

Ten příběh jako takový je totální clusterfuck. Po půl roce běhu, fakt.

Heron: nepřijde mi, že by říkal, že „nesmí znát jméno kolegy“, jako že by nesměl vědět, že tohle je Franta. Neřekli mu, kdo je nakažený. Což může trochu dávat smysl, v některých kruzích bych čekal, že by je okolí mohlo ostrakizovat. Dále mě fascinuje, jak se všichni ohánějí GDPR. „Nemůžeme vám říct, kolik lidí je v karanténě, protože GDPR“. Tak určitě. Zase se udělalo nějaké složité nařízení, které se nevysvětlilo, a lidi ho teď náhodně dezinterpretují (srov. „nařízení o zakřivení banánů“). Nemám jim to vlastně za zlé, je tam fakt jakýsi informační blok (oběma směry, srov. zase kauzu kdy prostě nebylo možné vysvětlit termín „pomazánkové máslo“). Zatím to je sranda, ale děsím se, že někdy půjde o něco vážného.

[Bherzet]

Ve zdrojáku jsem to taky nenašel, ale pak jsem se podíval na síťovou aktivitu po kliknutí na Play a bylo to tam. K obsahu se vyjádřit nemůžu, nakolik jsem to zatím neslyšel, ale k tomu GDPR: přijde mi to taky jako strašný fail. Jednou z EU vzejde legislativa, která není úplně špatná (efektivně v podstatě zlepšila vymahatelnost našich předchozích zákonů na ochranu osobních údajů), ale informování veřejnosti se odflákne takovým způsobem, že pak musím u doktorky podepisovat nějaký souhlas „protože GDPR“, i když GDPR nic takového nevyžaduje a zdravotnická zařízení mají explicitně výjimku, ale vlastně ji ani pořádně nemám na jaký (rozumný) zdroj odkázat. Nemůžu po ní chtít, aby louskala desítky stran právního textu, ani aby slepě věřila mému výkladu (nebo potažmo kohokoliv jiného neautoratitivního).

Naprosto nechápu, proč na tohle neexistují oficiální weby s tl;dr shrnutím. I u českých zákonů je občas problém pochopit, jak tu kterou formulaci zákonodárce myslel a já nejsem právník. Tím chci říct, že nějaký dovysvětlující komentář by nebyl na škodu ani normálně a u větších legislativních změn je to už vysloveně nutnost. Takto se opravdu nelze divit, že mezi lidmi kolují dezinformace (čehož ochotně využívají nejen některé země/skupiny, ale taky se vyrojí různí podivní GDPR konzultanti atd).

[Heron]

Naprosto nechápu, proč na tohle neexistují oficiální weby s tl;dr shrnutím.

Protože to shrnutí jednak nikdo nezná a taky nikdo za to nechce mít odpovědnost.

K tématu, toto je rozhovor (2018) se státní zmocněnkyní pro GDPR (tj to má být absolutní expert) a ona je neschopná zodpovědět jednoduchou otázku týkající se vesnického fotbalového družstva / školního výletu a považuje to za vykonstruovaný dotaz.

Ale ano, chápu tě, já jsem takto roky bušil hlavou do zdi při antivax hnutí (Eleková a spol. několikrát v každé televizi), kdy nikdo (SÚKL, SZÚ, min zdrav, fakultní nemocnice) se proti tomu neohradil.

[Heron]

Ten příběh jako takový je totální clusterfuck. Po půl roce běhu, fakt.

Jo. Zdá se, že nejdůležitější je mít hezké statistiky a bílej "semafor" a na realitu sere pes. Nejvíc mě překvapilo, že se by default trasují jen kontakty v zaměstnání a ne soukromé aktivity. Takže pořádejte si covid párty s jedním brčkem, nebo s jedním kýblem (WTF), ale hlavně choďte do práce.

Neřekli mu, kdo je nakažený.

No to jsem pochopil. Ale nechápu, pro by mu to měl někdo (tj management) říkat. V lidském kolektivu se taková informace neutají, "všichni" to většinou vědí dřív než šéf. Potom je samozřejmě možné, že to říká jen pro účel té reportáže (tj aby se ho na to už nikdo neptal), ale přijde mi, že to říká tak automaticky a přirozeně, že to asi nebude přetvářka.

[Bedňa]

asi bych si to měl ze srandy zkusit

Všetkých ľudí čo pokladám za normálnych z toho modelu zdrhli. Tak to nebude ani pre teba :)

To se tam nikdo nebaví mezi sebou? Všechno se řeší jen přes "manažera"?

Tam je všetko zle. Odpovedať sa musí emailami aby si mal výkaz o činnosti. Ideálne k mailu pripojiť peknú farebnú Excelovskú tabuľku. Čo bude v tabuľke je úplne jedno, viac tabuľiek, viac korporát. A kópia emailu musí ísť na čo najviac ľudí.

Normálni ľudia sa samozrejme spolu bavia o práci a živote. Mno všetci normálni časom odídu. Takže tam časom ostanú len zmrdi a tí čo sú ochotní za prachy každý deň z nechuťou chodiť do práce.

[Heron]

Reálne už nikde swap nepoužívam

Já taky ne a je to ve skutečnosti jedna z mnoha dalších věcí, o které jsem předpokládal, že zmizí v propadlišti dějin. Ale tyhle věci se mají tendenci neustále vynořovat ze záhrobí.

Ale tak třeba to nějaký technický důvod má. Třeba bych čekal odpověď "nasazení komprimovaného swapu do ram je jednodušší, než předělávat memory management a dělat transparentní komprimaci vybraných stránek".

[Bedňa]

Alebo je proste pičovina :)

[Heron]

+1

Proč u zpráviček není "Označit jako řešení"?

[prqek]

Já se s tím poprvé setkal u nějakého CyanogenModu. Ten telefon měl prostě málo paměti aby tam novější verze mohla běžet. A swapovat na microsd (vnitřní úložiště taky bylo mrňavé) také není úplně nejlepší.

[Cabrón]

Překvapuje mě, že to je pro některé místní novinka. Zram je velmi osvědčená technologie - téměř všechny low-end Android telefony to úspěšně používají.

Není to swap oddíl v ramdisku, je to prakticky jen komprimace nejméně používaných stránek v situacích, kdy roste memory pressure. Stránky jsou typicky velmi řídké, proto se výborně komprimují a to i nenáročnými algoritmy. Ten modul vezme stránku, zkomprimuje ji, a hodí do bufferu v jiné stránce (stránkách).

Když je využití paměti v normě, nic to nezabírá (kromě pár kB co má zram.ko) ani nedělá, je to zadarmo. A využití existujících API pro swap umožňuje nasazení bez úprav userspace.

[Heron]

Jak v odkazovaném článku, tak i v článku autora se píše, že se jedná o blokové zařízení, na kterém lze vytvořit libovolný fs, nebo právě swap.

To co popisujete vy by právě dávalo smysl (transparentní komprimace stránek).