Dotaz: kopírování souborů na USB trvá nekonečně dlouho

[TomasABC32]

Příloha:

• kopirovani.png (17886 bytů)

Zdravím, pokud kopíruji soubory z disku na USB, kopírování rychle dojede třeba do poloviny (viz. obrázek) a pak to trvá klidně i 8 minut, než se skutečně zbytek nakopíruje na disk. Nelze s tím něco udělat ? Je pro upřesnění, jedná se o linux Mint cinnamon 18.1. :D

Odpovědi

[Jendа]

https://www.abclinuxu.cz/clanky/jaderne-noviny-7.-11.-2013-proc-pomala-flashka-zpomali-64bitovy-stroj#zakerny-problem-se-zamrzajicimi-flashkami

Spíš je otázka proč s tím něco dělat.

[MadCatX]

Tohle s tím IMHO nesouvisí. Problém je v tom, že NTFS se na Linuxu nedá připojit v synchronním režimu a rychlost zápisu je zezačátku blesková, protože se zapisuje do cache. Některé flashky jsou navíc mimořádně dementní a rychlost zápisu na nich dost brutálně kolísá; asi podle toho, do jakých paměťových buněk se zrovna zapisuje. Tohle pochopitelně žádný widget nemůže tušit. Podstatné je, že urychlit ten zápis podle mě není možné.

[TomasABC32]

dobře, myslím že jsi mi to vysvětlil dobře. Bylo by řešením nechat ji naformátovanou na ext4 ?

[Petr Šobáň]

No něco málo to pomůže (ntfs je v linuxu nejpomalejší fs snad) ale nečekej zázraky vše je to o rychlosti vlastního USB klíče a ty nejsou nejrychlejší obzvláště ty levné....

[R]

S ntfs-3g nie je problem dosiahnut vysoku rychlost. Je ale potrebne pouzit parameter big_writes (nechapem, preco to nie je defaultne zapnute).

[TomasABC32]

dobře, ještě se zeptám, kde se dají měnit parametry pro automount ?

[MadCatX]

A co chceš vyřešit? Nepřesný odhad rychlosti kopírování na flashku? Vypnout write back cache můžeš ručně třeba takto

sudo hdparm -W 0 /dev/devicename

ext4 určitě nepomůže, ext4 oddíl se sice nejspíš dá připojit s parameterm flush ale žádný automounter ten parametr určitě sám o sobě používat nebude. Kromě toho bys tu flashku pak jinde než v linuxových strojích nepřečetl a na paměťová média s omezeným počtem přepisů je o něco vhodnější dávat copy-on-write souborové systémy (jasně že wear leveling, ale u laciných flashek o jeho funkčnosti trochu pochybuju). Už jenom samotné vypnutí write back cache může způsobit, že se na paměťový čip flashky zapíše více dat než normálně.

[TomasABC32]

no to taky, aby to bylo spravné. ale co mě právě překvapilo nejvíc je ta doba kopírování oproti windows je to katastrofa

[Peter Golis]

A ten USB disk má aké parametre, a akou rýchlosťou to kopíruje? Z toho tvojho obrázku ide poznať len trolling.

[MadCatX]

To se dost divím. Dobu kopírování měříš jen do doby, než zmizí kopírovací okno, nebo do doby, kdy klikneš na "Vysunout" (nebo příslušný widloidní ekvivalent) a objeví se hlášení, že můžeš flashku utrhnout? Nenapadá mě žádný důvod, proč by to mělo fungovat jinak rychle. Může být akorát problém to přesně změřit, protože podle mých zkušeností je ta rychlost zápisu dat na flashky dost proměnlivá.

[lertimir]

A je to kopírování včetně korektního odpojení disku ve win? Protože win často zahlásí "kopírování splněné" i když jsou data jen v cache. Co se kopíruje? I ve win jsou často významné rozdíly při kopírování nativním a kopírováním třeba pomocí TotalCommanderu zvláště u mnoha menších souborů. Důvod je v tom, že při TC kopírování se kopírování děje atomicky, tedy soubor se zapíše a pak se zapíšou jeho metadata. Nstudoval jsem nativní kopírování ale myslím že vše jede tak, že se zapisují pouze data pro všechny soubory, celý FS se stane velmi rozpadlým a pak se jednou na konec zapíší souhrná metadata. Kolik dat se píše na flasku? je to v obou případech win/linux stejné? Mnohé flasky mají svůj buffer, který má rychlejší parametry na zápis a ze začátku zápis chytne cache, když se vyčerpá rychlost velmi klesna. Byla flaska přeformátovana nebo je to její nativní FS? U levných flasek může být (a bývá) část, kde natvní FS zapisuje metadata, jinou strukturu než hlavní objem data. Měl jsem (a mám) flasku, na níž je FS FAT32 a funguje normálně a celkem rychle rychlost zápisu 10-20 MB/s. Nicméně před lety jsem ji použil jako systémovou flash pro server s EXT2 (nechtel jsem zápis journalu). Po několika měsících práce flash se významně zpomalila a rychlost při aktualizaci byla kolem 200kB/s což se blížilo rychlosti starých disket. Po přeformátování zpět na FAT32 rychlost a vlastnosti jsou velmi blizké původním.

[TomasABC32]

Fleška byla předformátována na několik různých FS, mezi jinými NTFS, Fat32 a nakonec i ext4. Posílal jsem asi 600 mb soubor. Dojelo to asi na 80 procent a tam se to zastavilo.

[MadCatX]

Tohle bohužel neodpovídá na otázku, odkdy dokdy měříš čas potřebný k zápisu daného objemu dat. Má zkušenost je, že každá flashka se chová trochu jinak. Technický důvod bude nejspíš použitý typ řadiče a paměťového čipu. Jednou se mi nechtěně povedlo na jednu z mých flashek nakopírovat adresář s kompletními zdrojáky boostu. Windows 8 "nakopírovaly" obsah na flashku celkem rychle, leč doba mezi kliknutím na "Bezpečně odebrat" a skutečným odpojením flashky byla asi 10 minut. Na Linuxu je docela dobrý ukazatel toho, kolik dat zbývá synchronizovat na disk počet dirty pages. Normálně se pohybuje v řádu desítek až stovek, při zápisu většího objemu dat na pomalé médium to vyletí klidně na desítky tisíc. Aktuální hodnotu zjisíš z řádku nr_dirty z výpisu /proc/vmstat. Můžeš spustit nějaké masivní kopírování a sledovat, jak se jejich počet mění pomocí watch -n1 'cat /proc/vmstat | grep "nr_dirty "'. Abys z toho mohl něco vyčíst, nesmí systém po dobu testu dělat nic, co by významněji zapisovalo na disk.

[cronin]

NTFS by som z toho nevinil. Presne rovnako sa mi správa USB s ext4: údaje sa najskôr evidentne kopírujú do vyrovnávacej pamäte, zrazu sa systém spamätá a začne to reálne kopírovať, t.j. progress bar -- používam Double Commander -- radikálne spomalí. No a keď sa po kopírovaní spustí sync(1), USB kľúč začne zúrivo zapisovať znovu, a to dosť dlhú dobu. Reálne rýchlosti som nikdy nemeral, som si vedomý, že moje USB kľúče sú v celku obstarožné kúsky.

[GeorgeWH]

iostat -xdm /dev/sdX 1

[cronin]

Dík, príležitostne skúsim.

[Peter Golis]

Pekný obrázok, čo na ňom akože má byť? Ja tam vidím obrázok znázorňujúci ukladanie snímku obrazovky.

[TomasABC32]

ajoo, sorry, chybička se vloudila :D