Zákeřný problém se zamrzajícími flashkami

6.6.2018 08:03 | Přečteno: 2759× | Linuxení aneb hrátky se šrotem | | poslední úprava: 6.6.2018 08:05

Pravděpodobně každý na tento problém už narazil - není radno nahrnout na flashku příliš mnoho dat najednou, neb systém zamrznouti by mohl. Je to problém, o kterém se ví minimálně od roku 2013 (viz Jaderné noviny 7. 11. 2013, odkud jsem si i vypůjčil název zápisku), bohužel stále přežívá. Co ale dělat, když chcete přenést po flashce svou hudební sbírku?

...aneb další ze zápisků z kategorie "Můj milý debilníčku, ..."

Řešení jako takové je nepřímo obsaženo v článku výše, jeho aplikace pak tkví v odeslání požadovaného počtu bajtů do příslušných souborů jako root (jako ostatně v celém zbytku postupu), například:

echo 104857600 > /proc/sys/vm/dirty_background_bytes
echo 209715200 > /proc/sys/vm/dirty_bytes

Tím se omezí tvorba špinavých stránek a omezí přeplňování paměti nacachovanými daty připravenými k zápisu na USB. každý samozřejmě navrhuje použití jiných hodnot (viz dřívější poradna) a v citlivých aplikacích je to o chvíli hraní, než se vyváží poměr výkonu zápisu na USB a na disk.

Pokud ale chceme tuto úpravu aplikovat při každém startu systému, je třeba ji zapsat do startovacích souborů, konkrétně do /etc/rc.local. Ten byl ale v některých novějších distribucích označen za přežitek. Musíme jej tedy ručně aktivovat.

V prvním kroku je nutné si /etc/rc.local vytvořit. Jeho obsah by měl vypadat nějak následovně:

#!/bin/sh -e
#
# rc.local
#
# This script is executed at the end of each multiuser runlevel.
# Make sure that the script will "exit 0" on success or any other
# value on error.
#
# In order to enable or disable this script just change the execution
# bits.
#
# By default this script does nothing.

exit 0

a po vytvoření je nutné mu dát spustitelný atribut (třeba přes chmod a+x /etc/rc.local).

Nyní je třeba našemu všemocnému systemd oznámit, že by jej měl začít používat:

systemctl start rc-local

To, že se tomu tak opravdu stalo, lze zkontrolovat přes:

systemctl status rc-local

na což by měl odpovědět následovně:

root@pushkin:/home/pushkin# systemctl status rc-local
● rc-local.service - /etc/rc.local Compatibility
   Loaded: loaded (/lib/systemd/system/rc-local.service; static; vendor preset: enabled)
  Drop-In: /lib/systemd/system/rc-local.service.d
           └─debian.conf
   Active: active (exited) since Tue 2018-06-05 07:22:12 CEST; 24h ago
  Process: 829 ExecStart=/etc/rc.local start (code=exited, status=0/SUCCESS)
    Tasks: 0 (limit: 4915)
   CGroup: /system.slice/rc-local.service

čen 05 07:22:12 pushkin systemd[1]: Starting /etc/rc.local Compatibility...
čen 05 07:22:12 pushkin systemd[1]: Started /etc/rc.local Compatibility.

A pokud toto zabere, stačí zapsat do /etc/rc.local řádky omezující množstvý špinavých bytů a toto nastavení by mělo být aplikováno při každém startu systému.

Výsledek: Nyní uvidíme přibližně reálný postup kopírování dat na flashku (nikoliv postup hrnutí dat do cache) a již nedojde k zahlcení systému špinavými bajtíky.

       

Komentáře

[Vantomas]

Ale správný postup má být přidáním souboru do /etc/sysctl.d/, ve kterém bude:

vm.dirty_bytes=209715200
vm.dirty_background_bytes=104857600

[Max]

Přesně tak, je naprosto zbytečné řešit rc.local, volat při startu systému tento skript a v něm echo, když pro nastavování kernelových parametrů slouží sysctl.conf / případně vlastní konfigurační soubor v sysctl.d
Zdar Max

[Max]

Když pominu, že stačí :

vi /etc/sysctl.d/usb-storage-tuning.conf
vm.dirty_bytes=209715200
vm.dirty_background_bytes=104857600

Případně ještě reload :

sysctl -p /etc/sysctl.d/usb-storage-tuning.conf

Tak musím říci, že na Archu se mi toto už neděje a systém se mi chová relativně dobře.
Zrovna nedávno jsem vykopírovával data z vadného disku přes usb redukci. Vadný disk proto, protože :

• tisíce vadných sektorů
• v určitých místech čtení rychlostí v řádu KiB/s
• při připojení k win PC dojde k odpojování a připojování disku (prostě jakmile se na něj začne sahat paralelně z více míst, padne spojení / disk se přes usb reconnectne a tak stále dokola)

Vykopíroval jsem z něj asi 80GiB fotek, trvalo to asi 4 dny a přitom jsem normálně pracoval na desktopu. Jediný, co mně sralo, byla Plasma. Jak se disk zacukával a měl dlouhý odezvy, tak se to podepsalo na notifiklačním pruhu plasmy, který se také zacukával a celkově task panel a další věci s tím spojený. Ostatní odezvy ale byly ok (třeba krusader v dalším okně a kopírování dat jinam atd.).
V této souvislosti by mně zajímalo, co máš tedy za verzi kernelu / jaký distro používáš?
Zdar Max

[Vantomas]

Jenže při čtení to tyhle problémy nedělá. Děje se to jen při zápisu.

[Max]

Při zápisu ale také nemívám problémy.
Zdar Max

[pushkin]

Tak zkus na flashku uložit 10 GiB fotek, budeš překvapen

Jinak díky za tip, původní řešení se opíralo o /etc/rc.local, tudíž jsem pátral po tom, jak jej obnovit. O alternativě ve formě /etc/sysctl.d/ jsem netušil.

[Radovan]

"v určitých místech čtení rychlostí v řádu KiB/s"

Chladit!!! V lehčích případech stačí na disk postavit hrnec se studenou vodou, v těžších do hrnce se studenou vodou a ledem disk prostě potopit. Samozřejmě dobře zabalený aby si nelokl, a je vhodné si předem namrazit zásobu ledových kostek pro postupné dosypávání. Dokáže jich rozehřát pěkných pár kilo.

[Grunt]

To jako fakt?

[k3dAR]

z praxe neznam, ale lidi vadne disk pri cteni prej strkaj i do mrazaku

[Grunt]

Pomohlo by to u přehřátých flash disků? Co se na nich vůbec může přehřívat?

[k3dAR]

to sem nikde nezahledl, predpoklada ze vyznam to ma u magnetickeho zaznamu kdy jde o fyzikalni zakony, btw: https://www.youtube.com/watch?v=7bFcglqmZco

[Josef Kufner]

Dávání disků do mrazáku nemá nic společného s přehříváním

[vencour]

Co pamatuju, tak tohle se tvrdilo o starých IDE discích, když nechtěly/nedokázaly číst. Na noc do mrazáku, vydolovat data a vyhodit.

[Pan_Filuta]

Hmm od roku 2013. Přiznám se že nechápu jak je možné, že tohle není dávno vyřešené. Každý měsíc si pročítám jaký absurdní HW dostane podporu v linuxovém jádře až jsem nabyl milného přesvědčení že základní věci už jsou vyřešené :(

[Jendа]

Cache v Linuxu by obecně chtěla předělat, nejspíš se inspirovat FreeBSD. Ve skutečnosti tam totiž jsou problémy už od 2003.

[Michal Kubeček]

To myslíš vážně? Tvrzení, že by se měl Linux inspirovat u FreeBSD, opírat o informace z více než 14 let starého seriálu? (Pro představu: první díly vyšly ještě dříve než jádro 2.6.0.)

[Jendа]

Ten popsaný problém že lineární přečtení/zapsání velkého souboru vyhodí z pagecache všechno ostatní jsem měl ještě relativně nedávno. Uswapování k smrti taky (1.5 GB swapu na počítači s 8 GB RAM je asi jako moc).

[Michal Kubeček]

Ten popsaný problém že lineární přečtení/zapsání velkého souboru vyhodí z pagecache všechno ostatní jsem měl ještě relativně nedávno.

Moje zkušenost je spíš taková, že se to tak nechová ani když chci. Občas třeba před sledováním filmu nebo seriálu (spíš ze zvyku než že by to bylo opravdu potřeba) soubor (typicky 1-5 GB) nejdřív nechám celý načíst a zkopírovat do /dev/null. Typicky se to chová tak, že první dva pokusy jsou podle rychlosti čtené kompletně z disku a až třetí nebo čtvrtý jen z cache.

Navíc, jak už jsem psal, ne každý snadno popsatelný problém má i jednoduché řešení. A i když má, často takové řešení z globálního pohledu napáchá víc škody než užitku.

[Michal Kubeček]

Jinak ta reakce byla motivovaná hlavně tím, že jsem si ze zvědavosti přečetl kapitolu porovnávající síťový stack a v duchu si ji porovnal s (dnešní) realitou. Nedělám si iluze, že by třeba v memory managementu byla situace výrazně odlišná.

[MadCatX]

Úplně totéž - aspoň symptomaticky - se děje i na systémech bez swapu, pokud se dostatečně zaplní RAM. Dokud jsem do notebooku nepřidal druhý 8 GiB modul, dokázal mě spolehlivě uzemnit typický scénář Plasma 5 + Firefox + pár VIMů + VMko s Widlemi. OOM killer v tomhle případě ani nemusí zasáhnout, protože volná pamět ještě je, akorát je jí ukrutně málo, na pagecache téměř nic nezbyde, aplikace stráví spoustu času na IO waitech a nepomůže tomu ani SSD.

Docela by mě zajímalo, jak tohle řeší Widle. Jednou jsem v Maple pustil přes noc vyhodnocení nějakého fakt ďábelského polynomu a strašně jsem se těšil, jak to do rána ty Windows spolehlivě zabije. Přestože Maple během chroustání sežral postupně asi 64 GiB paměti a stroj má jen 32, ráno jsem Maple bez problémů ukončil a kdybych nekoukal do Správce úloh, asi by mě ani nenapadlo, kolik systémových zdrojů se spotřebovalo.

[Mapple Store]

Docela by mě zajímalo, jak tohle řeší Widle.

Omlouvam se, jestli jsem nepochopil zadani, nebo neco slozitejsiho kolem, ale Win skoro odjakziva pouziva nafukovaci swapfile (pamatuju ho jako pagefile.sys, nevim jak je to dnes).

To same ted zavedlo Ubuntu, ale dava tomu pri automaticke instalaci nesmyslne male hodnoty. Myslim, ze sem nekde zahlid v blogu nebo nejakem commentu 8GB RAM + 2GB swapfile. To je nesmirna hovadina a uz jsem na to dojel komplet zasekem behem online meetingu. Nastesti se da swapfile i v Ubuntu celkem lehce zvetsit.

[vencour]

Co pamatuju, tak defaultní hodnoty jsou sice takové, u Windows, ale best practice říká "nastavit natvrdo x násobek RAM" nebo swap úplně vypnout. Hibernace do RAM swap nepožaduje. Někdo mi tvrdil, že něco od Adobe nebo Autodesku existenci swapu požadovalo při instalaci.

[Mapple Store]

Diky, ta "best practice" se teda vztahuje k Win nebo Lin? Drive to platilo pro Lin (2x RAM), coz je ale dneska naprosta zbytecnost (normal use case), avsak pokud si Ubuntu vesele nastavi swap (nenafukovaci!) jako ctvrtinu RAM, tak je nekde neco spatne.

Schvalne jsem mezitim koukal u kolegu na Win 10 a Win 7 a nevidim tam nikde, ze by se nejak doporucovalo sahat na swapfile. A ten se zda byt porad nafukovaci.

Btw. Hibernace do RAM je ten Win hybrid, kdy jde cast na disk a cast do RAM? Osobne jsem posledne provozoval bud Sleep nebo Hibernate, ale to uz samo asi napovida, ze to je delsi dobu. Nebo umi toho hybrida uz i Lin? (proste to uz nesleduju a beru to jako dosti stabilni nastroj)

[k3dAR]

nepouzivam, ale: https://wiki.debian.org/SystemdSuspendSedation ?

[Roman]

Kdybyste cetl puvodni clanek tak vite, ze "reseni" neni jednoduche a mozna vubec mozne. Linux neni windows ani mac. Bezi na miniaturnich zarizenich jako kavovary, pres mobily, desktopy, az po servery a superpocitace a kazda platforma a I/O strategie ma sva specifika a potrebuje sve optimalni nastaveni. Proto je Linux flexibilni a konfigurovatelny. Jinymi slovy "nastav si sysctl podle navodu a STFU"

[avea]

Tak proč se to nenastaví samo podle toho, na čem to jede? Pokud jsem schopen udělat analýzu a dopsat správné hodnoty, je toho schopen i program. Tenhle bug je opravdu velmi ostudný a dost podráží nohy tezím o Linux core stabilitě apod.

[Michal Kubeček]

Tak proč se to nenastaví samo podle toho, na čem to jede?

Jak byste si představoval detekci toho, jestli třeba někdy za týden nebo dva uživatel nepřipojí flashdisk a jak bude ten flashdisk rychlý? Ono ani v okamžiku připojení to nejde moc snadno poznat, mnohé disky vám umožní chvíli zapisovat docela rychle a potom výrazně (někdy i několikanásbně) zpomalí.

Ne každý snadno popsatelný a snadno pochopitelný problém má i snadné řešení. A zejména pokud jde o otázky výkonu, často to bývá tak, že je potřeba zvážit, jestli (třeba i výrazné) zlepšení nějakého specifického use case stojí za to, aby se kvůli tomu (byť málo) zhoršilo chování (skoro) všem a (skoro) pořád a nebo aby se třeba vyrobilo patologické chování v jiné situaci. Zrovna u memory managementu na to kolega naráží každou chvíli.

[Dreit]

Co takhle konfigurátor (GTK/terminál), kde si uživatel vybere k čemu používá stroj a podle parametrů (RAM apod) to vyplivne hodnoty co by měl uživatel zkusit?

[k3dAR]

nebo jak je zde receno, nenastavovat obsoletne by default dle procent RAM, ale pevnou velikost(pokud se to tedy tak jiz nezmenilo a neni problem jinde):
http://www.abclinuxu.cz/clanky/jaderne-noviny-7.-11.-2013-proc-pomala-flashka-zpomali-64bitovy-stroj#zakerny-problem-se-zamrzajicimi-flashkami

[snajpa]

Napsat ovladac na zarizeni, ktere mam v ruce, je podstatne jednodussi, nez zmenit neco v sprave pameti a ovlivnit tim chovani na vsem od kavovaru po cele datacentrum. Kdyz mam po ruce datacentrum, zas nemam po ruce vsechny industrialni lejzry a podobny veci, kde taky Linux jede.

[otasomil]

Vitejte!
No a neni to tim ze ony flashky obecne stoji za hojno?
Jsou velmi znacne rozdily prenosove rychlosti v zavislosti na oblasti kde se zrovna zapisuje. Kdyz si vybavim jak pekne slapou obycejny 10-15 let stary HDD pripojeny pres USB/IDE/SATA prevodnik rychlosti pekne 30 MB/s (coz je strop u USB2) jak cteni tak zapis a pres celou velikost disku tak bych dnes za ty flashky tem vyrobcum leda nakopal...
Moje zklamani trochu opadlo s prichodem flashek s USB3 u nichz vyrobce udava stovky MB/s avsak moje zkusenost je takova ze tato flashka zapojena do USB2 zdaleka nedosahuje rychlosti tohoto rozhrani. To je fajn ze se kopirovane soubory nasypou do cache ale co dal... cekat az se nekam zapisou, kdy, za jak dlouho... Je to shit ty flashky. Mozna jsou nejaky dobry ale jejich cena bude nekde jinde a pokud by clovek nasel nejaky typ, objednal si jej tak je prakticky jisty ze dostane padelek.
Pekny zapisek do blogu kterak si IT nadsenec, kutil poradi s tim s cim si neporadi vyrobce coby nadnarodni korporace. Pokud neumeji dnes udelat flashdisk aby chodil tak jako externi USB rotacni HDD, aby vyuzil pri R/W celou sirku prenosove rychlosti tak at delaj neco jinyho.

[Roman]

Tim to neni, avsak flashky opravdu jsou dost mizerne povetsinou. Vyrobci tam podvadi jak se jen da. Videl sem prezentaci, kde autor rikal, ze flashky dnes nekdy neukladaj ani data, ale jen cosi, z ceho se da ta data vypocitat. :D Vadne bunky? Nevadi, dopocita se. Funguje to tak dlouho, dokud jich vadnych neni az prespriliz. Taky prodavaj cipy co meli design na vetsi kapacitu, ale byli z pulky vadne, tak je prodaj jako polovicni kapacitu, atd. Uz jenom ten MLC system, kdy se uklada vic stavu nez dva (1 a 0) je takove neoptimalni... Ale mame pomalu 1GB za 200 Kc, tak mame byt z ticha a drzet krok s pokrokem. ;)

[Roman]

*1TB :P preci jen se spis pohybuju v GB. Narozdil od spousty lidi, nepotrebuju 10 terabytovych disku v NAS a uchovavat donekonecna kazdy zpirateny film, co si stahnu. :)

[Ovoce]

Tohle dělají i SSD. Jinka MLC se dneska běžně používá s 3bitama a do výrob přichází ještě vymazlenější QLC - 16 úrovní napětí v jedný buňce, aby se kapacita zvedla o blbou třetinu :) Naštěstí ty další bity mají klesající užitek - každé další zdvojnásobění počtu úrovní napětí dá jenom jeden jedinej bit navíc, takže to snad nebude pokračovat "do nekonečna".

[Grunt]

Jsou velmi znacne rozdily prenosove rychlosti v zavislosti na oblasti kde se zrovna zapisuje. Kdyz si vybavim jak pekne slapou obycejny 10-15 let stary HDD pripojeny pres USB/IDE/SATA prevodnik rychlosti pekne 30 MB/s (coz je strop u USB2) jak cteni tak zapis a pres celou velikost disku tak bych dnes za ty flashky tem vyrobcum leda nakopal...

Kupodivu naprosto stejná zkušenost. Dokonce jsem měl jeden kousek za dvě kila, který po zápisu nad hranicí 2GB zkolaboval a už se z něj dalo jen číst. Ještě zlaté diskety. U těch by aspoň bylo vidět když by výrobce ustřihl z kotoučku a nahradil to papírem. Zatím to řeším pomocí microSD, u těch jsem ještě nezaznamenal problém.

[otasomil]

S microSD jsem tez spokojen v RPi uz od roku 2014. Ale mozna je to jeste dobra vyroba. Dnes je treba situace horsi.

[Grunt]

Příloha:

• micoSD.jpg (27333 bytů)

Tak tak. Mám tu taky nějaké Class 10 (přitom je to snad z Tesca, takže to není o moc dražší) a dá se z nich úplně v pohodě provozovat téměř libovolný operační systém (dokonce GNOME3) a zatím se mi ještě nestalo že by se mi pod rukama rozpadl souborový systém. Ty výtky na USB flashky co tu čtu jsou až moc dobře povědomé tomu co jsem zažíval, tak všem těch co je zažívají doporučuju aspoň dát šanci paměťovým kartám.

Jedinou výtku bych měl k velikosti (když to spadne tak už to najdu tak maximálně ve filtru vysavače) a špatnému mechanismu mojí čtečky, ale jinak nemám co dodat.

[k3dAR]

jj, na microSD sem provozoval x86 GnomeShell asi pul roku a karta pak stale jinde funguje
i s tou stratou souhlas, nedavno sem vyndaval microSD z autoradia a sjel mi prst a pruzina to vystrelila ze sem ji hleda asi 2 hodiny

[pushkin]

Jsem na tom stejně. 10 let starý externí disk šlape bez problémů, ale co flashka, to jiný problém. Ten se zápisem je plus/mínus společný, ale životnost u některých je v řádech týdnů. Kolegovi lehla nová 64 GiB USB3 flashka po týdnu. Manželka tou dobou koupila shodnou, které lehl "pouze" filesystém, takže pod Windows byla nepoužitelná, pod Linuxem se mi ji podařilo "opravit". Ale na jak dlouho, že...

[Grunt]

Já vím že se to řešilo už u CD, ale existuje vůbec nějaké NV médium které by se dalo vyloženě použít k archivaci? Nepředpokládám že by to přežilo EMP, ale aspoň aby to neumíralo tím jak plyne čas…

[otasomil]

No s tou archivaci nechi byt skeptik ale dostupnou nadeji je pouziti starych jeste poctivych HDD s IDE ci SATA ale velikosti v max desitkach GB. Takoveto disky se daji sehnat prakticky zadarmo a zalohy nejdulezitejsich dat hodit na nekolik kusu, uschovat na ruznych bezpecnych mistech.
Zadne sci-fi o super ulozistich na veky se totiz nekona... bohuzel...

[pushkin]

No, vyloženě na archivaci pro nás byly stvořeny M-disky. Hůř se shání, jsou dražší, ale vydržet by měly pro běžného smrtelníka dost dlouho.

[Grunt]

To je NVM? Však je to optický disk.

[pushkin]

Examples of non-volatile memory include read-only memory, flash memory, ferroelectric RAM, most types of magnetic computer storage devices (e.g. hard disk drives, solid state drives, floppy disks, and magnetic tape), optical discs, and early computer storage methods such as paper tape and punched cards.[1]

Takže ano, je to NVM.

[marek_hb]

průběžné kopírování na nové disky + záloha

zároveň by ti při tomhle způsobu nemělo hrozit, že budeš za 10 let marně shánět starou mechaniku na přečtění starých medií

[k3dAR]

btw: v dobe tusim 4.10 jadra mi to nedelalo jen u USB ale i u SATA disku, sice sem ted na 4.15 ale nastavene to mam stale tak nevim zda to bez toho stale dela problem...
ohledne automatizace, pokud se to nezmenilo, tak uz pred par lety psal tusil Linus v jadernejch novinach ze by to mel zmenit, protoze nastaveni jako procenta z ram je z doby kdy ram bylo nasobne mene, v dnesnich X GB to je dle procent ale uz prehnane moc...

[Odin]

Flashdisk jsem sam nepouzil uz hoodne dlouho, ale po precteni tohoto blogu jsem udelal maly test. Zkusil jsem na obycejnou 16 GB flashku, ktera je mimochodem velmi stara, zapsat cca 9 GB jpeg souboru. Take jsem zkusil 15 GB soubor vygenerovany pouzitim dd z dev null. Oba dva zapisy trvaly hodne dlouho, coz se dalo ocekavat, jelikoz se jedna o usb2 flashku. Byl pomaly zapis i sync nasledujici po tom, kdy desktopove prostredi oznamilo, ze uz ma hotovo. V obou pripadech se ale se systemem dalo bez problemu pracovat behem kopirovani. Zaseky a zpomaleni nebyly pozorovany. Pouzivam aktualizovany debian stable.

[otasomil]

Vitejte!
Jak pisete mam tez zkusenosti. Pripojeny flashdisk kam pomoci:
pv nejakedistro.iso > /devsdX
zapisuji iso distribuce o velikostech nekolik GB a pv ihned "zapise" 98 procent a pak cekam nekolik minut na posledni dve procenta. S USB rotacnim HDD se tohle nedeje a pv plynule od nuly do 100 procent vypisuje postup zapisu. To vse mam mnohokrat overeno na nekolika zarizenich tudiz problem je prokazatelne ve flashdiscich ktere jsou navic pomale a ani USB3 modely zdaleka nedosahuji rychlosti rozhrani USB2. Je to jen nejaka marketingova blamaz aby uzivatel videl ten fofr jak je to vsechno superrychly ale...

[Thor]

Jen zvedavostni - to vitate Odina jako noveho navstevnika portalu, nebo ciste pod svuj blog?

Je ale pravda, ze mi tam chybi neco o podedenych flashdiscich po generace, ktere vyrostly na poli pracovitych nemeckych sedlaku na uzemich ceskych. A taky co je dulezitejsi - flashdisk jako majetek, nebo ona rodina... )

[otasomil]

Vitejte!
Vitam jak prichazim. Jen tak jako treba zdar, dobry den, cest praci...
Flashdisk spis jako flashka tedy lahev na data nikoliv bleskovy disk protoze o one bleskovosti je tento blog a cela bleskovost spociva v bleskovem naliti dat a naslednem unavujicim cekani co bude dal...

[vencour]

Tak mne napadá, není to i o tom, co máte za základní desku a co sdílí usb na jedné "kšandě"?

[otasomil]

 Tak mne napadá, není to i o tom, co máte za základní desku a co sdílí usb na jedné "kšandě"? 

No nevim pac se flashky dle meho zjisteni chovaji stejne blbe na ruznem HW co mam doma. Rotacni USB HDD vsude fungujou perfektne - plynule cteni/zapis.