NTFS a Linux

12.12.2010 14:34 | Přečteno: 2111× | linux

Potřeboval jsem zkopírovat disk, který půjde na reklamaci na druhý disk. No a rychlost byla stále jen kolem 16.50 MB/s. Zkoušel jsem to jak přes adaptér USB tak jsem to narval na další SATA kabel.

Když jsem kopíroval z disku na disk NTFS - NTFS pak jsem byl někde u 16.0 MB/s a systém byl vytížen na 100%, stejná situace byla i když jsem to kopíroval přes USB-SATA redukci. Snažil jsem se nastavit systém i NTFS tak, aby se to zrychlilo, ale nějak jsem neuspěl. Vidím, že asi bud muset šáhnout po nějakém HirensCD /MiniPE a uvidím.

Jak jsem se pak díval, stále tam ocáskuje flush:8:48, 8:96 apod. v iotopu se to celé nějak fláká.

Mount

/dev/sdf1 on /mnt/Win250Back type fuseblk (rw,allow_other,blksize=4096)
/dev/sdg1 on /media/ST_1 type fuseblk 
(rw,nosuid,nodev,allow_other,blksize=4096,default_permissions)

Nevíte někdo jak nastavit NTFS modul tak, aby modul sral na FLUSH? Noflush nějak nezabírá.

Díky        

Komentáře

[Michal Fecko]

a nebude rychlejsie pouzit dd

dd if=/dev/ntfs_particia bs=1k conv=sync,noerror of=/home/ntfs_particia

a potom

mount -o loop /home/ntfs_particia /mnt/ntfs_disk

alebo ntfsclone?

[Michal Fecko]

poprípade nahradiť dd za ddrescue

osobne sa mi zda ze dd bude najrýchlejšie riešenie kedže mu je jedno aky FS je použitý na danej particii... ale rýchlostne otestované to nemám...

[gtz]

Já bych použil klidně dd nebo svoji oblíbenou clonezillu, ale potřebuji část dat cca 80GB. On to byl jen přenosný HDD a druhá půlka již někde je. A stejně celou 250GB 2.5" SATU nemám kam uložit.

[gtz]

Šlo mi o to jak nastavit celý mount, možná i jádro tak, aby se flush to toho nemotal. Když jsem kopíroval z SATA-SATA tak jsem se dostal k 16.50MB/s, o něco méně jsem se dostal přes USB-SATA redukci. Systém byl skoro na 100%, ale když jsem se díval přes iotop/htop tak procesy, které kopírují byly zhruba na cca 60% a zbytek žral ten flush a jbd.

Jak jsem psal na kopie a duplicity používám clonezillu ta je na to pohodová, ale problém je když potřebuji kopírovat jen část dat.

[Michal Fecko]

aky kernel?

[gtz]

je zde 2.6.35.6-48.fc14.i686 a bohužel je to jen Sempron 3100+ a 1.2GB Ramky

[gtz]

Zkoušel jsem to nyní na VistaPE a HirensCD 13.2 a když kopíruji z USB na SATU pak se dostanu až k 20995 kbytes/sec. V případě kopírování z SATa to SATA tak se pohybuji při kopírování u velkých souborů někde k 35200 kbytes/sec. V linuxu se dostanuk těmto číslům jen když kopíruji z NTFS na jiný FS (XFS).

Jak tedy na to?

[Jendа]

Podle mě je to prostě tím, že je to FUSE, takže se musí každém zápisu přepnout z režimu jádra do uživatelského režimu. Nevím, jak je na tom jaderný ovladač ntfs se zápisem, ale nepomohlo by to?

[gtz]

Zkoušel jsem ntfs-3g ručně i přes automount, kdy si to systém sám připojil, ale žádné rozdíly jsem nezaznamenal. Nebo máš na mysli něco jiného?

[Václav HFechs Švirga]

Jde o to že oproti ext3 nebo xfs není ntfs-3g v jádře, ale jako běžící aplikace která s jádrem díky fuse pouze komunikuje, což může být pomalejší. Jestli to teda dobře chápu.

[Václav HFechs Švirga]

Uz to nekdo vysvetlil dole lip, tak nic.

[gtz]

Však já jsem zkoušel již obě možnosti než jsem napsal tento blog. Zkoušel jsem to jak klasicky tedy mount -t ntfs tak i mount -t ntfs-3g a rozdíly v tomto způsobu nebyly až zas tak slavné. Stále se tam motal ten flush:8:48 a kopírování probíhalo max. do 20MB/sec. Já jsem ptal hlavně jak toto celé nastavit tak, aby flush apod. do tohoto nezasahoval.

Když jsem pro test udělal to stejné na VFAT, který je v jádře a neměl by s ním být problém, tak byly hodnoty stejné jako u NTFS. Zkoušel jsem to jak na Live-FC14 tak i na mém Suse 11.3

[gtz]

U malých souborů toto kopírování bylo peklo, kopírovalo to ani ne 1MB/s, což jsem nějak neunesl a raději jsem na celý adresář pustil gzip a na druhém disku jsem to extrahoval. Bylo to o hodně rychlejší. Velké soubory - ISO apod. se kopírovaly max. 18.50 MB/sec. při SATA to SATA. Což je 1/2 výkonu na Win systémech.

[Franta Uživatel]

No já nevím, mám to přes ntfs-3g a teďka jsem zkoušel rychlost a dobrý. cca 90 MiB/sec. Disk je WD RE a jádro je 2.6.34. relevantní řádek ve fstab je tu:

/dev/disk/by-id/ata-WDC_WD7502ABYS-01A6B0_WD-WMAU00098209-part1 /media/seven ntfs-3g users,gid=users,fmask=133,dmask=022,locale=cs_CZ.UTF-8 0 0

Chyba bude asi jinde.

[gtz]

Kopie z jednoho disku NTFS na druhý? nebo z nějakého linux FS na NTFS?

[Franta Uživatel]

Aha, taky bych se měl naučit číst. Tohle bylo NTFS - Reiserfs. Tak jsem udělal test na NTFS - NTFS. Dvě různý fyzický jednotky. Rychlost byla přibližně stejná. Asi 85 MiB/s.

/dev/disk/by-id/ata-WDC_WD7502ABYS-01A6B0_WD-WMAU00098209-part1 /media/seven         ntfs-3g    users,gid=users,fmask=133,dmask=022,locale=cs_CZ.UTF-8 0 0
/dev/disk/by-id/ata-WDC_WD1002FBYS-01A6B0_WD-WMATV0736198-part1 /media/windata       ntfs-3g    users,gid=users,fmask=133,dmask=022,locale=cs_CZ.UTF-8 0 0

[gtz]

To nemám šanci se k těm hodnotám dostat. Zkoušel jsem to přes fuse i přes ntfs-3g a stejně nic moc.

Jeden disk na který jsem to kopíroval byla starší 250GB SATA a ten disk co jsem to z něj kopíroval byla 2.5" 250 GB SATA.

Při posledním měření jsem se dostal k cca 25MB/sec. při kopírování NTFS-NTFS (každý disk na SATA kabelu). Nakonec jsem se a to vyprdnul a vyřešil jsem to prozatím přes Mini-XP od HirensCD. Tam to jelo místy až 50MB/sec. Ale možná asi bude problém v tom, že ten zdrojový disk je jen 2.5"/5400 ot. a prostě toho víc nezvládne.

Až budu mít čas tak budu pátrat po tom proč je to v Linuxu tak shnilé.

[Kvakor]

V Linuxu jsou dvě implementace NTFS - jedna už výše zmíněný ntfs-3g, který běží skrz FUSE, tak starší implementace přímo v jádře, která má ale omezené možnosti zápisu (pokud vím , tak jen přepisuje stávajcí soubory). Zatímco první je vhodná pro běžnou práci, kdy potřebujete číst i zapisovat, druhá je vhodná právě pro čtení velkého množství dat, protože rychlost čtení je běžně dvakrát-třikrát vyšší.

Jen je třeba se vykašlat na automounty a rozličné klikátory a připojit si oddíl ručně přes mount s parametrem -t ntfs. Doporučuju i dálší parametry, napr. pro podporu diakritiky se musí použít nějaká kódová stránka, která jí podporuje (dnest na 99% UTF8), protože defaultně je nastavená cp432 (tedy pokud si nepřeložíte jádro sami a nenastavíte si jinou)-

Ale nejrychlejšáí metoda je asi použít ntfsclone, ten totiž dokáže kopírovat jen obsazené clustery. Nevýhoda je, že výsledný obraz se hodí jen na zálohování, pokud ho chcete přimountovávat, musí se použít kalsický postup s dd nebo něčím podobným.

[gtz]

Jen je třeba se vykašlat na automounty a rozličné klikátory

Psal jsem, že jsem to zkoušel jak ručně tak i přes automatiku - tedy to co udělá systém.

Zkoušel jsem jak klasický

mount /dev/sdd1 /mnt/někam 
tak i 
mount -t ntfs /mnt/někam 

Obě tyto varianty myslím používají starší modul z jádra

Pokud jsem udělal mount -t ntfs-3g /dev/sdd1 /mnt/někam tak byla rychlost zhruba stejná jako v předchozích případech. Divné bylo, že když jsem to kopíroval přes USB-SATA (Kouwell) tak byla rychlost cca o 1MB/sec. nižší než když jsem to kopíroval přes SATA-SATA (integrovaná na desce nForce)

Jedná se o starší disk WD2500RE (250GB SATA), který mám v systému a ten z kterého jsem to kopíroval je 2.5" SATA ST9250 (250GB), který chci poslat na reklamaci.

dd /cloneZilla apod. v mém případě nic neřeší - potřeboval jsem jen určitou část dat .. ne celý disk, stejně nemám místo kam bych celý image uložil

Někde má MV8-SATA PCI kartu tak přemýšlím zda by to bylo rychlejší?

[Chulda]

Ja mam obdobnou zkusenost na USB. Nastesti ta externi krabka ma jeste eSATA a pres ni mi to uz jede normalne. Na tom samem stroji.

Mam automount, Fedoru 13. Netusim, jaky pouziva FS a jestli vzdy stejny. Ted to nemuzu overit.

[Chulda]

Kruci, spatne jsem si to precetl - u me jde o NTFS vs EXT3. Ale NTFS bych tu mel mit taky, tak to vyzkousim.