Dotaz: kopírování mezi disky výrazně zpomaluje systém

[TomasABC32]

Zdravím, mám takový dotaz. Na novém Linux Mint 19.1 se mi při kopírování výrazně zpomaluje systém. Reakce a otevírání okem je o dost pomalejší. Setkal jste se s tím někdo? Případně máte na to nějaké řešení ? Díky

---

---

Odpovědi

[TomasABC32]

dodávám, že při kopírování mezi dvěma fyzickými disky.

[k3dAR]

zkus se podivat na zatizeni cpu (pres htop) a zatizeni disku (pres iotop)...
pripadne zkus nastavit pevne "vm dirty" velikosti (vychozi je procentualne dle obsazene RAM a delava(lo?) to problemy:

echo 104857600 | sudo tee /proc/sys/vm/dirty_background_bytes
echo 209715200 | sudo tee /proc/sys/vm/dirty_bytes

pokud to zabere (timto ^^ je to nastaveni jen docasne, pridej do /etc/rc.local NAD radek "exit 0" tohle:

echo 104857600 > /proc/sys/vm/dirty_background_bytes
echo 209715200 > /proc/sys/vm/dirty_bytes

[TomasABC32]

mrknu, díky.

[TomasABC32]

obávám se, že zadání nezabralo (viz. htop dole příloze):

echo 104857600 | sudo tee /proc/sys/vm/dirty_background_bytes
echo 209715200 | sudo tee /proc/sys/vm/dirty_bytes

Nemusí se u toho ještě něco nastavit? Předpokládám, že po zadání by měla Mem spadnout do nějakých přijatelných čísel ?

[k3dAR]

ne, to je vse, muzes to overit ze/jestli se tam ty hodnoty zapsali:

cat /proc/sys/vm/dirty_background_bytes
cat /proc/sys/vm/dirty_bytes

kdyz to nenastavis, resp. kdyz das reboot (a NEmast to pridane to rc.local), tak cat vrati hodnoty 0, protoze je misto toho pouzite jine/dirty_ratio coz je prave ten pomer/procenta vzhledem k velikosti ram...

[TomasABC32]

zkusím to nastavit natvrdo do rc.local, ale asi to bude tím, že disk je systémový. akorat by to chtělo zregulovat....

[TomasABC32]

je možný, že v novém systému ještě nemám rc.local ? Nemůžu ho najít...

[MadCatX]

Je, protože v systemd prostředí se to dělá jinak, viz systemd tmpfiles. Ale zrovna s tímhle problémem asi nastavení dirty bytes příliš nepomůže.

[qw11]

A su tie disky na sata alebo je aspon jeden z nich na usb.

[TomasABC32]

Příloha:

• htop.png (236016 bytů)

oba na SATA. a HTOP je totalně vytíženej.

[k3dAR]

totalne urcite ne, jsou tam 4 jadra (nebo 2 jadra s HT) a kazde na ~20%, pri totalnim vytizenim bys mel vse na 100% a hlavne by Load nebyl ~3 ale mnohem vice...

[MadCatX]

Nezměnil se IO scheduler? Mrkni na

for f in /sys/block/sd*; do echo -n "${f}: "; cat $f/queue/scheduler; done

Podle toho, co máš v jádře k dispozici se pak dá nastavit třeba bfq.

[TomasABC32]

to mi vrací:

tomas@tomas-mint19:~$ for f in /sys/block/sd*; do echo -n "${f}: "; cat $f/queue/scheduler; done
/sys/block/sda: noop deadline [cfq] 
/sys/block/sdb: noop deadline [cfq] 
/sys/block/sdc: noop deadline [cfq] 
/sys/block/sdd: noop deadline [cfq] 
/sys/block/sde: noop deadline [cfq] 
/sys/block/sdf: noop deadline [cfq] 
/sys/block/sdg: noop deadline [cfq] 
/sys/block/sdh: noop deadline [cfq] 

[TomasABC32]

Nevím, co má LM 19.1 za jádro, ale zkus nabootovat s jaderným parametrem scsi_mod.use_blk_mq=1. To samo o sobě může pomoct, pokud ne, mohlo by to aspoň zpřístupnit plánovač bfq.

[TomasABC32]

to už je na mě vyšší dívčí.. jak ten parametr nabootoju scsi_mod.use_blk_mq=1 ?

[MadCatX]

https://askubuntu.com/questions/19486/how-do-i-add-a-kernel-boot-parameter

[TomasABC32]

tak jsem s tím nabootoval a vypadá to že je to lepší. Co je to za parametr? Vložím ho tedy do GRUBU natvrdo?

[TomasABC32]

přidává se to do /etc/default/grub někam nakonec že?

[MadCatX]

To jo, v tom odkazovaném příspěvku je to napsané. Na desktop se může hodit ještě povolit plánovač bfq, pokud ho teda má Mint v jádře povolený.

[Sten]

Je jeden z těch disků systémový? Pak je normální, že se celý systém zpomalí, když přístup k systémovým datům soupeří s kopírováním.

[Adolf Kernel]

prave preto sa odporuca na system dat SSD hoc aj maly (32GB a pod.) a tym sa znizi rezia pri IO operaciach na ostatnych HDD...

[TomasABC32]

Ano, jeden z disků je systémová. sda.

[Peter Golis]

Budem hádať. Pomalé je to keď kopíruješ z disku nazvaného OTESANEK ktorý bol naformátovaný na NTFS, a disky naformátované na iný FS to nerobia.

1. Používaš na pripojenie toho pomalého Captive NTFS, NTFS/Fuse alebo NTFS3G/Fuse?
2. Je to USB2 alebo USB3 disk? Ten disk má 1T a mal by byť USB3
3. Je v USB2 alebo USB3 porte? USB3 disky patria do USB3 portu, obvykle značeného na modro.
4. Nemáš náhodou vypnuté DMA pri USB3?

[TomasABC32]

Ahoj, nene nejedna se vubec o ty USB disky. Ale o ty dva SDA a SDB, přičemž SDA je systémový.

[PetebLazar]

HDD s rotujícími plotnami mají přístupovou dobu v řádu desítek milisekund (vystavení hlavy, pootočení plotny). Při samostatném sekvenčním čtení/zápisu (v nefragmentovaném prostoru filesystému) se hlava pohybuje prakticky ideálně a dá se docílit až rychlostí desítek-stovek MB/s. Pokud je ovšem disk vytížen současně jinými operacemi (spouštění programů ze vzálených stop atd.) jeho výsledná efektivita logicky značně klesá (větší podíl neužitečné režie). Hlava musí přejíždet mezi více stopami a to stojí čas (výsledný výkon IO). Techniky jako NCQ (vyřizování mimo pořadí) zde pomohou jen z části. Mezi hlavní výhody SSD proti HDD patří právě nízká přístupová doba(jejich úložiště je typicky na bázi flash pamětí), která zajistí kratší reakční dobu právě při paralelní zátěži.

[vencour]

V iotopu by mělo být vidět vše, co hrabe na disk, je to tak?
Takže prosím tazatele o doložení dat a pak se uvidí.

[Peter Golis]

No, vidím teda že asi odpratávaš vyše ½T z ROOT disku na iný disk. Akej povahy sú tie dáta, nejedná sa o kvantá maličkých súboríkov? Resp, lepšie sa opýtať, ako často budeš také niečo presúvať medzi mechanickými diskami?

[TomasABC32]

Petře jsou to zálohy, filmy a dokumenty. Nic dalšího tam není. A nebudu to dělat často.

[Peter Golis]

Ak je to len jednorázová akcia, tak to kopíruj/presúvaj len v jednom prúde a to pomocou midnight commandera. A kým to dobehne, tak si skús zatiaľ naložiť chladničku aby si ju mal pripravenú na to odpočítavanie.

IMO takéto niečo by som ja osobne riešil len ak by sa jednalo o periodickú úlohu ktorá by ma brzdila pri odchode z práce. ŠNR!

[Pavel 'TIGER' Růžička]

Ale to je naprosto normální, pusť na to rsync (případně i s automatickým vypnutím) v nejméně vytěžovanou dobu a neřeš to.

[TomasABC32]

Kopíruj v příkazové řádce:

nice -n19 ionice -c3 cp /odkud /kam

[k3dAR]

pres nice/ionice muze pustit i mc, kdyz uz cp tak aspon s parametrem -a aby zachoval atributy/casy