Dotaz: clonezilla - rychlost USB

[rastos]

Přílohy:

• lsusb-D.txt (2931 bytů)
• clonezilla.jpg (254073 bytů)

Robil som backup cez clonezilla-u, a tá mi povedala:

Space in use: 749.8GB = 183057064 Blocks
Block size: 4096 Byte

Elapsed: 03:45:02 ... Rate: 3.33GB/min

Backup som robil na externý SATA disk pripojený cez USB 3.0, o ktorom si myslím, že naozaj funguje ako 3.0.

$ lsusb
...
Bus 004 Device 002: ID 174c:1153 ASMedia Technology Inc. ASM1153 SATA 3Gb/s bridge
...

$ lsusb -D /sys/dev/bus/004/002

Device: ID 174c:1153 ASMedia Technology Inc. ASM1153 SATA 3Gb/s bridge
...
  bcdUSB               3.00
...
 Device can operate at SuperSpeed (5Gbps)

USB 3.0 má teoretickú rýchlosť prenosu 5Gbps. S kalkulačkou mi vychádza, že to je 5*60/8=37.5 GB/min. Prečo mi teda clonezilla ukazuje 10x menej? To je taký veľký rozdiel medzi teoretickou a praktickou rýchlosťou? Toleroval by som 80 alebo 50%. Ale 10%?? Mám blbý HW? Alebo je zádrhel niekde inde?

---

---

Odpovědi

[k3dAR]

a mas v tom SSD? na heurece vidim 750GB SSD jen Octane za 50.000-80.000Kc, to asi v ramecku nemas
u HDD samozrejme nehrozi ze by se i jen zdanlive priblizil teoreticke maximalni rychlosti USB3, kdyz "fyzikalni" omezeni HDD je kolem 110MB/s, coz tve ~55MB/s odpovida tebou tolerovanejm 50%

[rastos]

Ten disk, na ktorý sa zapisuje, nie je SSD. Je to 6TB Seagate SkyHawk ST6000VX0023 7200rpm a mal by vedieť zapisovať 195MB/s.

[Petr Fiedler]

Řekl bych, že 195 MB/s je maximální rychlost na začátku ploten. Na jejich konci, tzn. u středu to určitě nebude zapisovat tak rychle. Další věc je, kolik a jak velkých souborů se zapisuje. Jiná bude rychlost při ukládání jednoho souboru, který má 5 GB a jiná u 10000 souborů, které mají dohromady 5 GB. A ještě si uvědom, že se to během zálohování komprimuje. A o tom, že 60 * 195 MB není 37,5 GB ani nemluvím. Není to ani těch 50%. Takže buď v klidu, je to OK.

[Pavel 'TIGER' Růžička]

Backup v clonezille nemusí být nutně komprimovaný, a velmi záleží na tom, co, jak a na co (nejen HW) se zálohuje.

[rastos]

Zálohovaný je kompletný domáci linuxový systém. Dnes som zistil, že to znamená aj pár adresárov s obrovským možstvom malých súborov ako napr /var/lib/docker, ~/.cache/fontconfig a ~/.local/share/akonadi_kalarm_resource Doslova 10-tisíce malých súborov, čo sa za roky nazbierali. Ešte sa len musím pozrieť ako sa ich bezpečne zbaviť.

Clonezilla komprimuje paralelným zip-om (z1p). Nejak som dúfal, že to nemá zásadný vplyv.

60*195MB/s je 11.7GB/min. Čo je smutné. Doteraz som si to neuvedomil. Myslel som si, že bottleneck je USB. Ale trocha si ma zviklal.

[Petr Fiedler]

Já na kompresi používám lzo. Je to rychlé s dobrým kompresním poměrem.

[V.]

Pokud máte nějaké pochybnosti o prováděných operacích, sledujte využití zdrojů (cpu, I/O), zda jsou využity na max. Pokud jede "železo" na max, změňte nějakou komponentu "systému/enginu", optimalizujte, zadejte jinou kompresi, jiný algoritmus, změňte pořadí prováděných operací apod.

[lertimir]

I tenhle výpočet je chybný a zavádějící. Stačí se přečíst něco o discích. Třeba tohle v části HDD. Disk má fyzikálně principielně jinou rychlost na vnějším poloměru a na vnitřním. Tvůj má popis zde. Jednak nikde nemluví o rychlosti otáček a patrně 7200 to nebude a průmerná rychlost je 154MB/s.

Pro testování rychlosti disků se používá dost programů viz např. zde. všimni si zvláště obrázku u části 5. HD Tune. ten obrázek velmi odpovídá tvému disku. Začne na skoro 200 MB/s a na vnitřním tracku je pod 100 MB/s. A i když je to jiný disk, pro tvůj to platí také, je to dáno geometrií a tím, že po celém disku se v současnosti výrobce snaží dostat maximálni hustotu, a tím pádem za jednu otáčku na vnitřím tracku proběhne pod hlavou méně bitů. A nutno pořád mít na paměti, že tohle je maximálni rychlost sekvenčního zápisu. Tedy něco, co dosáhneš např při progrmau dd. Rozhodně to není rychlost na filesystému, kdy filesystem musí zapisovat do alokačních struktur, které sektory jsou nově obsazené, zapisovat do adresáře, co se píše. A různé filesystémy pro různé situace, mají různě velkou režii, ale žádný disk nemá více než 100-200 IOPS na površích, protože pod hlavu se prostě dříve potřebné místo neotočí.

Takže na file systemu nějakých 120-140MB/s u takového disku je celkem normální a uspěch. Na mém btrfs, které má větší režii, bych za úspěch považoval i 100MB/s

[lertimir]

A jestli zdroj není SSD tak více než max 200 souborů za sekundu stejně nezvládne přečíst nic a limitace může být tím, že čte malé soubory z rotačního disku.

[Prceq]

zdroj?

[Petr Fiedler]

Čeho?