Dotaz: Formát externího disku

[Vtipnéř]

Přeji hezký den všem.

Mám externí USB hard disk naformátovaný v NTFS a mám pocit, že v Linuxu chodí nějak pomalu. Protože ho budu používat prakticky jen v Linuxu, mohl bych ho přeformátovat do jiného běžného formátu (ext3, ext4, xfs). Dá se čekat, že to práci urychlí, a který z uvedených formátů by byl nejvhodnější? Budou na něm spíš velké soubory (nahrávky z digitální TV, řádově gigabajty).

Předem díky za tipy.

Jirka

---

---

Odpovědi

[Max]

Samozřejmě, že můžeš. Výběr FS je na tobě. Je to jak s distribucí, každému chutná něco jiného :).
Zdar Max

[bono]

No rozhodne bych nedoporucoval ext4 ani ext3 - mam s nimi dlouhodobe spatne zkusenosti. Doporucil bych xfs pripadne jfs.

[onno]

bla bla bla bla bla

[pavlix]

+1

[Max]

Heheh, já to říkal, někdo se snaží rozjet flejm o nejlepším FS :)
Zdar Max

[Punny]

mel jsem nutkani odepsat :)) ale jen bych prilil olej do ohne :D

[Petr Šobáň]

Já na všem co je pod linuxem používám ext2,3,4 a nikdy jsem neměl sebemenší problém.

[Sten]

Na externí disk bych určitě XFS nedával. Už několikrát jsem totiž zažil, že tam zapomenutý (neprovedený) umount = rozsypaný celý systém

[Marek]

A nebo ho mountovat s noatime.

[Vtipnéř]

Otázka byla myšlena tak, jestli je práce s ntfs v Linuxu skutečně pomalejší než s jinými file systémy, takže jestli přeformátování pomůže. Další věc je, jestli může být některý file systém vhodnější pro zamýšlený účel (např. kdysi jsem četl, že reiserfs je vhodný, pokud máme velké množství malých souborů), ale tahle věc je méně podstatná.

Jirka

[Punny]

zalezi co si pod slovem pomalejsi mame predstavit...pokud to mas pripojene pres USB 1.0 tak z toho moc nevytahnes.
Punny

[Vtipnéř]

Nejde o USB ale o ntfs. V googlu jsem našel hodně příspěvků na tohle téma (většinou o nízké rychlosti zápisu), chtěl jsem se ujistit, jestli je to skutečně tak.

[Punny]

1) NTFS je v linuxu pres FUSE a nejaka degradace vykonu tam bude, takze ano...ext3/4 atd by mu vyhovovalo asi lepe.
2) nema cenu resit performance FS pokud mas pomalou sbernici
3) pokud nereknes jakou propustnost mas na tom NTFS a na jakem zarizeni a cim to mas propojene...stejne vse bude k hovnu a zmena FS nemusi prinest zadnou zmenu
Je to to same kdyz ve win pripojis nejake starsi ext, take to neni zadna slava

[Bilbo]

NTFS-3G má poměrně slušný výkon při čtení (na normálních discích srovnatelné s výkonem NTFS ve Windows), ale dosti tragický výkon při zápisu.

Kdysi to bylo ještě horší a v alokátoru bloků měli nějaký O(N^2) algoritmus, se kterým rychlost zápisu do velkých souborů (přičemž velké už bylo stovky MB) šla brutálně dolů a zátěž CPU brutálně nahoru, ale ani nejnovější NTFS-3G není v tomhle zrovna výhra. Zápis je prostě pomalý, i na nových počítačích (i7) a rotačních discích (teoreticky 80-120 MB/sec) je brzdou při zápisu právě NTFS-3g

[AraxoN]

Na každý druh záťaže je vhodný iný FS. Čo sa týka rýchlosti, navzájom sa líšia aj 100-násobne (to isté čo na jednom FS trvá sekundy, na druhom trvá minúty). Závisí tiež od nastavení veľkosti blokov FS.

Pri mojich testoch vyšiel ako najvyváženejší Ext4 (čo sa týka rýchlosti rôznych operácií). Najlepšie ale je nepreberať slepo cudzie výsledky, ale spraviť si vlastné testy, s vlastnými dátami a vlastnými operáciami nad nimi.

[milan]

Je snadné si otestovat, který FS vám po stránce výkonu bude vyhovovat nejlépe : 1) zmenšit původní NTFS o pár gigabajtů 2) v uvolněném prostoru nadělat pár různých 2GB oddílů 3) provést zápis podobných dat, které hodláte na disk později ukládat na každý z oddílů (postupně) a změřit si čas.

U třech vítězných FS posoudit i bezpečnost (na přerušení napájení, neúmyslného odpojení disku během zápisu a podobně).

A pak si vybrat

[Andrej]

Btrfs. Ostatní jmenované formáty jsou vhodné spíš pro Národní technické muzeum.

[marek_hb]

jak je na tom btrfs na ssd disscích?

[Andrej]

Podle mě skvěle, protože jako jeden z mála souborových systémů má mount parametry specifické pro SSD a několik alokačních mechanismů speciálně určených pro SSD.

Jiná otázka je, jak jsou na tom SSD disky samotné... Já osobně bych takovému zařízení svá data nesvěřil. Je to ubohá flashka, která vydrží asi tak pět přepsání, jen je to nesrovnatelně dražší.

[potato]

Zatímco btrfs je vhodný pro lidi, co mají rádi loterie...

[Andrej]

Takový FUD by byl třeba tak v roce 2009 namístě, ale dnes nemáme rok 2009.

Zajímavé je, že ext4, který měl během existence Btrfs nesrovnatelně víc kritických bugů než Btrfs, včetně takových, které vedly ke ztrátě dat, nikdo za loterii neoznačuje.

Btrfs je pro lidi, kteří mají rádi rozumné přidělování místa na disku (bez předchozího rozdělení na předpotopní oddíly), kteří rádi zálohují z konzistentních snapshotů, kteří rádi upgradují svůj systém atomicky bez jakéhokoliv rizika selhání (kdo zná Illumos či znal OpenSolaris, ten ví, o čem je řeč) a konečně pro ty, kteří vědí, že cp --reflink prostě rulezzz.

[potato]

Leda houby. Najdi si studie real-world nazasení btrfs z 2013. Závěry jsou podobné: pěkné, ale na kritické nasazení zatím nespolehlivé.

Nevím, co máš na externím disku, já tedy žádné atomicky upgradovatelné systémy. A cp --reflink je tam prostě naprd -- v případě, že už tam je něco dvakrát, tak proto, že chci redundanci.

[Andrej]

Když chci redundanci (tj. mít něco fyzicky zapsáno dvakrát), může mi to zajistit automaticky samotný souborový systém (Btrfs), aniž bych musel používat nějaký tupý cp a sám ručně udržovat kopie aktuální. Další důvod pro Btrfs. Naopak cp --reflink je super třeba pro takový jednoduchý use-case jako třídění a zpracování fotek. Celý adresář s fotkami si napřed zkopíruju pomocí cp -a --reflink. Overhead na kopii metadat nestojí příliš za řeč. Pak můžu zkopírované fotografie upravovat, některé smazat, některé ponechat beze změn a tak dále. Narozdíl od hardlinků mi původní neroztříděné fotografie zůstanou v původním stavu a beze změn, což zpravidla chci. Narozdíl od symlinků se nic zlého nestane, když původní fotografie později smažu a nechám si jen ty protříděné a upravené. A konečně narozdíl od tupých kopií tam nemám ta data dvakrát. (I když například u ZFS by to vyřešila časem deduplikace. U Btrfs zatím není, pokud vím.)

To by mě zajímalo, co by takové „studie“ řekly například na Ext3 a Ext4. Třeba něco ve stylu „vždycky to bylo trochu buggy, ale co už, když je to staré, musí to být dobré“? Závěry o spolehlivosti by měly být dokumentované například na počtu selhání (výkonnosti, dostupnosti, konzistence dat) v hodně velkém datovém centru. Samozřejmě by byl Btrfs lehce v nevýhodě, protože dovede odhalit „silent data corruption“, zatímco ostatní scheisse-filesystémy vesele servírují poškozená data a nic neřeknou. I toto hledisko by se muselo správně zahrnout do srovnávacích metrik. Aby došlo k statisticky významnému počtu selhání hardware i filesystému, chtělo by to aspoň roční studii v pořádně velkém datovém centru, a to pokud možno s aktuálními systémy, ne s nějakým RedHatem, ve kterém je kernel 2.6.něco a podobné vykopávky. Takové studie ovšem nikde nevidím.

Na externím disku mám samozřejmě Btrfs. Kromě už jmenovaných killer features má navíc ještě (nepřímo) zmíněný checksumming dat, což dává RAIDu 1 v Btrfs i replikování dat a metadat jednotlivých souborů konečně hlubší smysl, protože když už něco selže, Btrfs aspoň dovede zjistit, která z duplicitních kopií se zdá být v pořádku a která vlastně selhala. Tedy se umí vypořádat korektně i s celou škálou selhání jiných typů než nedostupnost disku či nečitelné bloky.

Jirka Paroubek by se všech ostatních souborových systémů zeptal: Kdo z vás to má?!