Dotaz: Otestování vhodného FS ext4 nebo btrfs - pro svou potřebu

[jadd]

Kopíroval jsem 5GB malých souborů z NTFS do nově vytvořeného HOME s EXT4 (výchozí volby připojení) na laptovém disku, mapovaném přes klasiku, ne LVM.

Začal jsem včera ve 23h a kopírování skončilo dnes ve 12h. Na otestování mám bývalý SWAP oddíl o velikosti 1GB. Jaké zvolit připojovací volby těchto FS aby jsem mohl správně vybrat?

Poznámka: malé soubory jsou u mě 1kB až 300kB (jpg, wav, mp3).

Jak získat časy pro objektivitu dokončeného kopírování?

Odpovědi

[fedor]

Začal jsem včera ve 23h a kopírování skončilo dnes ve 12h.

Nesmysl, při dnešním hw naprostá blbost. Nebylo to náhodou 500G ?

[jadd]

Ne, bylo to jak píšu.

[jadd]

Příloha:

• m51va.txt (25466 bytů)

Podmínky pro test: poběží to na tom samém hw se stejným výkonem. Takže na čem to běží/běželo je jedno. Ale pro info: CPU core2duo P8600, RAM 4GB, HDD Seagate ST9320421AS. Není problém kopírování 5GB velkých souborů.

[jadd]

du -s

5898952

[lertimir]

Podle mne to záleží na tom, jak je nastavený sync. Rotační HDD má cca 100 IOPS (v notebooku méně). Pro zápis je potřeba minimálně zápis do dvou míst. vlastní data + zápis do inode. Pokud je FS nastaven tak, že syncuje okamžitě, tak zapíše maximálně teoreticky 50 souborů za sekundu, v praxi spíše 20 a méně, nezávisle na tom, jak jsou malé. Z toho plyne že za hodinu to zapíše asi ani ne 50000 souborů, pokud ten počet souborů se pohyboval kolem 500 000 mohlo to jet i těch 13 hodin. pokud jste kopíroval ze stejného disku (jiného oddílu) na stejný disk, tak podobné IO se muselo provést i při čtení takže to bude 5-10 souborů za vteřinu.

[jadd]

No, měl jsem taky říct, že jsem to kopíroval přes Nautila, dělá si nejdříve ověřování místa apod. S cp by to bylo rychlejší.

Teď jsem zkoušel stejnou cestou kopírovat 200MB (50000souborů), do btrfs, ext4, ext3 reiserfs3.6 (časy dost podobné o něco horší s btrfs o něco lepší reiserfs), začné to cca 6MB/s ale po 180MB se snižuje na cca 700KB/s a stále to jde dolů.

Taky jsem zaznamenal a to ikdyž jsem ty soubory smazal z koše (to bylo celkem rychlé). Několikrát to hlásilo, že v adresáři /run došlo místo (Nautilus si to nějak uchovává v paměti) i když už ty soubory jsou smazaný. Byly teda ve schránce ale při prvním pokusu to zaplnění /run nehlásilo až když jsem první pokus smazal do koše a ten hned vysypal a začal pokus dva (s jiným FS).

Vyšlo mi z toho ve zkratce, že EXT4 nemá cenu měnit za btrfs který je přizpůsobený na velké soubory ale ztrácí víc na těch malých. A EXT3, Reiser3.6 má méně vlastností než EXT4. Objektivní výsledek to není ani příliš pro mě.

Tykat!

[jadd]

700KB/s → 700kB/s

[lertimir]

btrfs není určený pro rychlost. Už jen to že má vyšši bezpečnost proti náhodné chybě diky checksum něco ve výkonu stojí. Phoronix pravidelně dělá výkonové testy filesystemů. Možná nejsou zcela reprezentativní, ale jistě je dobré je vzít v úvahu.

[jadd]

Díky za odkaz,

.. tohle ní přímo na tebe

Mě by zajímalo jestli nejsem limitovanej tím rošířeným oddílem v kterém mám ty linuxové oddíly. Je tam psáno, že rošířený oddíl je typu NTFS. Jestli by to nějak zvýšilo výkon, kdybych ten rošířený neměl a měl jen primární oddíly?

[lertimir]

Nijak. Oddíl je jen posloupnost sektorů na disku od sektoru xxx do sektoru yyyy. Původní rozdělení Microsoftu z doby MS-DOS a 20MB HDD definovalo část MBR s tabulkou oddílů, která měla 4 položky a čísla sektorů byly 32 bitová (primární oddíly). Rozšířený oddíl je položka v MBR (od sektoru xxx do yyy), která definuje oddíl, který má uvnitř má také podobnou tabulku oddílů (logické oddíly) (jeho oddíly samozřejmě nemohou přesáhnout hranice rozšířeného oddílu) a tím umožňuje mít více než 4 oddíly na disku. Při startu si systém přečte všechny tyhle tabulky, vytvoří příslušné sda1,sda2,sda5 atd. a mezi přístupem na primární a logický oddíl není rozdíl. Zhruba řečeno stejně přístup na sektor aaa oddílu je přístup na xxx+aaa sektor disku, kde xxx počáteční sektor oddílu.

Samozřejmě sektory s nižšími čísly mají o něco vyšší přenosové rychlosti, díky tomu, že jsou na větších poloměrech plotny a při jedné otáčce disku pod čtecí hlavou projede více sektorů.

[Petr]

Pokud byly soubory hodne male tak proc ne..

[Andrej]

Nebyl bottleneck spíš na straně čtení z NTFS? Nemůže být disk nějak poškozený? Co třeba obskurní velikost bloku? Jakmile člověk používá zastaralé souborové systémy typu ext4, může se celkem snadno stát, že omylem vytvoří filesystém s velikostí bloku odlišnou od velikosti stránky (4 kB na Intelu, 8 kB na Power7) a pak se nestačí divit. Ale takhle dramaticky špatný výkon by to mít nemělo ani s nevhodnou velikostí bloku.

[jadd]

Tak samozřejmě, že rychlost čtení z NTFS byla omezená ale vždy jsem zkoušel z něj (přímo). Ted jsem našel čtení a skript, a změnil v něm filesize 1024 na 128. Bohužel ale nezjistím reálnou situaci (tu svou), a nevím jestli generovaná data dají výsledek jako kdybych kopíroval ty své (kde každý soubor má jinou velikost a jinou strukturu obsahovou). Bylo by možné poprosit, předělat to na

z C:\User\Data do /run/media/jadd/TEST ?

[Heron]

Osobně také vidím problém na čtecí straně (bez ohledu na FS), protože je to právě seek u čtení, který to bude brzdit. Každý čtený soubor bude vysoce pravděpodobně umístěn jinde. Zatímco na straně zápisu bude sync probíhat jednou za commit time a taky si to ten fs může uspořádat sekvenčně.

[host]

Souhlas

[jadd]

/etc/mke2fs.conf prozrazuje vhodnou konfiguraci pro malé soubory pro nově vytvářené oddíly.

[jirka]

+1

[jadd]

Přílohy:

• ext4-default (449 bytů)
• ext4-small (450 bytů)
• bench.py (1519 bytů)

Takže jsem vytvořil takto a zkusil scénář z NTFS jako předtím, ale změnu jsem nepozoroval. Ten skript jsem změnil (v příloze) a provedl amatérský test na EXT4 a EXT4 small vždy 2x (v příloze). Když do toho kouknu, zdá se mi, že EXT4 small má horší výsledky ale nevím jak to mám číst. mke2fs -t ext4 -T small -j -L TEST /dev/sda5

Uvažoval jsem o znovuvytvoření oddílů ale vidím, že by to byla zbytečná práce.