Dotaz: Súborový systém pre dlhodobé zalohovanie

[skywaker]

Súborový systém pre dlhodobé zalohovanie, AKY ?

podmienky?

1. čo najlepšia kompatibilita naprieč systemamy: a)Linux,b)Windows,c)nejake to BSD ak niekedy mam nainstalovane BSD tak povecsinou FreeBSD/OpenBSD 2. aby sla previest kontrola chyb FSCK nielen vo windowse ale aj napr na Linuxe 3. moznost pripojit aj ako write a to v pripadoch ak je to linuxovy FS aby slo pripojit aj v inych OS ako write, pripadne ak je to win fs aby slo aj inde pripojit ako write ale tento bod 3 je skor optional ako requiered

tu su kandidati pre nasadenie:

1) EXT3 -> Linux, FreeBSD a OpenBSD cez Ext2 driver, ext2fs pre windows, FSCK to nemam skusenost ci sa da aj inde, moznost pripojit ako write to uz bude tazsie

2) EXFAT -> podpora v linuxe, windows vista a viac, predpokladam ze takyto disk sa bude dat pripojit aj v klasickom dvd prehravaci, aka je podpora pre BSD neviem

3) XFS -> podpora v linuxe, read v OpenBSD

mne sa pozdáva ExFat neviem ale ako je to s jeho stabilitou.

prekážky: jedná sa o disk s Advanced Format 4K bloky Toshiba 1TB

čo by ste poradili ak by sa jednalo o váš disk pre zalohovanie na dlhšie obdobie.

Odpovědi

[Jendа]

Upustil bych od té podmínky kompatibility s tím, že to v nejhorším připojíš třeba ve virtuálu.

Já na zálohování používám btrfs, protože má jako jediný použitelné snapshoty, a navíc má scrub, takže snadno pro klid duše ověříš, že ta data máš opravdu tak, jak jsi chtěl (hodí se především pokud nemáš stroj s ECC, o jednu zálohu se mi nedávno nejspíš chybou paměti podařilo přijít). Alternativa k tomu scrubu je udělat velký archiv a nad ním par2, kde navíc dostaneš možnost rozbitý soubor obnovit.

[skywaker]

no ma to byt disk co pripojim raz za cas a nakopyrujem nan nove subory, s toho dovodu by som volil Ext3 ten sa da pripojit napr ako Ext2 uz v spominanom OpenBSD/Free. aj v inych.

moznost ze mozu vzniknut chyby pri kopyrovani pri vecsom objeme dat som nebral do uvahy a ten exFat asi an tom nebude bohvieako dobre.

z btrfs nemam skusenost a tu kompatibilitu medzi OS by som chcel. ano mam klasicky pc kde nemam ECC ram ak mam nieco dolezite na zalohovanie tak to riesim tak ze to dam do ZIP archivu a ten zalohujem.

asi siahnem po EXT3 to je istota, zaujimalo by ma co je vyhodnejsie ak budem pripojovat linuxove EXT3/4 ako EXT2. ci dat EXt3 ci 4 ? vsimol som si ze pri formatovani vecsej particie Ext3 trva dlhsie nez format Ext4 a co je bezpecnejsie pripojit ako ext2

[skywaker]

este dodam ze uplne mi postaci read only pripojenie ako Ext2 - jasne ze nebudem pripajat vo write rezime ale aby to slo o to ide. a tiez co je bezpecnejsie ak disk dam na EXt4 alebo EXt3 a potom pripajam ako EXt2

[skywaker]

takze davam Ext3

1. Ext3 je spetne komaptibilny s Ext2 je to Ext2+Journal mozno nejake vylepsenia 2. Ext4 moze pripojit Ext3 ale su tam uz nejake zmeny naviac s toho plynie --> v inych OS ako FreeBSD lahsie pripojim nativne Ext3 cez Ext2 nez Ext4 ktore sa da vo FreeBSD cez fuse4ext4

[chrono]

Pokiaľ viem, tak z jadra odstránili ovládač pre ext3, pretože ten súborový systém zvláda bez problémov (a poškodenia/zmien) aj ext4 ovládač.

[Andrej]

Ten seznam kandidátů je z roku 2005. Dnes máme rok 2016.

4) ZFS -> Linux, FreeBSD, Apple OS X, Solaris + OpenIndiana

A k tomu atomické snapshoty, konečně opravdový RAID na úrovni filesystému (tedy RAID odolný proti silent data corruption, proti write hole i proti dalším kritickým nedostatkům ostatních řešení a filesystémů), checksumy dat i metadat, více replik dat i metadat (podle přání), funkce znamenitě se hodící pro zálohování a archivaci (serializace a deserializace celého filesystému), ZVOL — mechanismus umožňující alokovat uvnitř ZFS média pro jiné filesystémy, třeba i zastaralé a primitivní (ext4 a spol.) a přitom využívat datové checksumy a některé další vymoženosti moderního filesystému…

Nebýt požadavku na multiplatformnost, Btrfs by mohl být v případě Linuxu ještě mnohem lepším kandidátem. (Je totiž vždy k dispozici přímo s každým kernelem, bez nepříjemných licenčních opletaček s oddělenými zdrojáky / balíčky.) Nicméně pokud je nutná přenositelnost (například) na FreeBSD nebo OS X, ZFS je asi jasná volba.

Pokud jde o přenositelnost na Windows, tam se radí těžko, protože Windows prostě tradičně vůbec nic neumí.

[Jelcekk]

To je pěkný, ale OP hledá specificky FS na sdílení mezi Linuxem, Windows a různýma *BSD. Tys mu právě poradil FS, kterej MOŽNÁ (nemusel by si dávat pozor na rozdíly ve verzích mezi ZOL a FreeBSD zpoolem?) přimountuje na Linuxu a FreeBSD. Podpora OS X, Solarisu a OpenIndiany se sice někdy může hodit, ale v tomhle případě nejspíš ne.

Pro tenhle konkrétní dotaz rada dost mimo, to už by větší smysl dával i UFS (lol).

[Andrej]

Podle seznamu kandidátů tazatele jsem nabyl dojmu, že nekompatibilita s Windows (konkrétně u bodu 3, XFS) by nakonec mohla být přijatelná. Kromě toho, s nekompatibilitou to není až tak horké, protože nějaká pseudopodpora pomocí virtuálního stroje se dá zařídit vždycky. To samozřejmě platí i pro ZFS.

Ne, UFS by nedával větší smysl, protože nemá checksumy dat i metadat, nemá vestavěný RAID s odolností proti silent data corruption a nemá atomické snapshoty, kromě jiného — seznam výhod ZFS je samozřejmě mnohem delší.

Právě zmíněné vlastnosti v podstatě určují, zda je filesystém jednou nohou zamrzlý ve 20. století, tedy v dobách malých a pomalých disků, v dobách fsck a v dobách jednodiskových konfigurací či proprietárních RAID řadičů funkčních za dobrého počasí, nebo zda jeho nasazení dává smysl i v současnosti, kdy máme disky desettisíckrát větší než v roce 1996 a přesto chceme, aby se každý zapsaný bit zachoval bez chyby s pravděpodobností hraničící s jistotou, pokud nepřijde tsunami.

[ES]

FAT32 Rosekat do casti (treba podle adresaru) a vypocitat paritni data pres PAR2

To funguje vsude a je to dostatecne jednoduchy aby se v pripade poskozeni cehokoliv data zvladnout oprava.

Ostatni odpovedi jsou jen nesmysly technomaniaku ktery proste musej bejt super hyper za kazdou cenu.

[Jendа]

Tam je fakt na prd ten limit na velikost souboru 4 GB. Takže aby člověk měl tisíc souborů a k tomu tisíc x.par2 x.vol000+01.par2 x.vol001+02.par2 a x.vol003+04.par2.

[Jelcekk]

Sám jsem smutnej z toho, co teď navrhnu, ale... Co NTFS? Na Windows nativní, na Linuxu a (myslím) všech *BSD ntfs-3g, oproti FAT32 odpadá 4GB limit na soubor. Podle všeho to snad částečně splňuje i tu podmínku na kontrolu chyb.

Popravdě jsem ale ntfs-3g nikdy pořádně nepoužíval a netuším, jak (ne)spolehlivý to je.

[k3dAR]

pokud ma byt(ja nevim) primarne pripojeni k Linux+BSD, tak NTFS by bylo nejhorsi mozne reseni, ntfsfix (jak mas ostatne psane v tom man linku) neni kontrola filesystemu, ale jednoduchej opravovac zakladnich veci co primarne vyresetuje journal a oznaci disk pro kontrolu, ta ale nastane az po pripojeni k regulernim Windows, tedy rozesranej filesystem proste neopravis z Linuxu tak aby jsi mohl na nej ulozit...

dalsi vec je ze ntfs-3g je neskutecne pomale hlavne pri zapisu a zatezuje dost procesor... pokud chces rychlejsi tak si muzes koupit komercni closedsource verzi pro embedded (nevim jestli muze enduser, nebo jen spolecnost vyvijejici nejaky embedded zarizeni s linux+ntfs)... to reseni ma byt o 1000% rychlejsi nez jejich opensource verze ntfs-3g...

http://www.tuxera.com/community/open-source-ntfs-3g/
http://www.tuxera.com/products/tuxera-ntfs-embedded/

[k3dAR]

osobne bych teda pouzil EXT4 s tim ze bych vyclenil malou partisnu s par GB pro system, tam nainstaloval nejake "sve oblibene distro", nebo nahral jeho ISO a nainstalovat GRUB, v pripade potreby opravit EXT4 v pritomnosti pouze Windows stanice, bych na tom HW s Windows jednoduse nastartoval GNU/Linux system z toho externiho disku, provedl opravu datove casti, restartoval do Windows a z nich cetl pres nejakej ten ext2fs windows ovladac/aplikaci netusim co je ted zrovna na to in... (pripadne nahrat data na Windows internni disk z externiho EXT4 disku rovnou v tom nabehlem GNU/Linuxu)...
a jako extremni zalohu mit jeste v kapce "mini USB Flasku" s LiveUSB kdyby neco...

[pavele]

FAT32. Používá se leta, používat se bude (EFI), otevřeš to všude.

[k3dAR]

zapory:
- maximalni velikost souboru 4GB
- nejde o zurnalovaci filesystem
- neuchovava atributy a vlastnictvi souboru
- neumoznuje ulozit stejne nazvy souboru s odlisnejma velikostma pismen

takze by se vetsi soubory museli splitovat (to sem delal naposled v minulem stoleti s disketama ;), ukladani zaloh by misto rsync muselo byt vzdy komprimovane (kvuli atributum/vlastnictvi/velikostipismen) nebo pro linux tam mit 4GB image (resp. mnoho takovejch oddelenejch) naformatovane na EXT4, pro Windows mit 4GB image naformatovanej na NTFS...

ale jo, uz vidim toho masochistu, co si 2TB disk naformatuje na FAT32, pak udela 300 kusu 4GB image, spoji to pres LVM v jeden a nad to hodi EXT4 aby mohl ten disk "normalne" pouzivat, pak X image po 4GB a jestli to Widle spojej pres dynamickej disk... ono totiz nelze disk rozdelit na 2 casti a na kazdou pouzit jinej filesystem, protoze je potreba mit pres celej disk FAT32

[Jendа]

UMSDOS!

[k3dAR]

jo, to by bylo reseni stacilo by jen downgrade jadra na <=2.6.8(?) a nepripojovat ten disk pak k Windows protoze by pri write to naborilo

[Filip Jirsák]

Prostě požadavky na multiplatformnost a zálohování jdou proti sobě. Buď chci spolehlivě zálohovat, takže potřebuju zachovávat atributy souborů, oprávnění, rozšířené atributy, neřešit velikost souborů, případně nějakou podporu pro kontrolu souborů (kontrolní součty). Pak ale takový souborový systém nebude úplně jednoduchý a těžko bude spolehlivě portovaný do Linuxu i do Windows. A nebo chci souborový systém, který bez problémů přečtu i zapíšu ve Windows, pod Linuxem nebo na *BSD. Pak to ale logicky musí být něco hodně jednoduchého, tedy pro zálohování nevhodného.

Ukládat na FAT32 archivy nic neřeší, stejný problém se přesouvá akorát do archivačního programu.

Takže si holt Skywaker musí vybrat, jestli chce dlouhodobě zálohovat, nebo jestli chce jeden disk připojovat k různým systémům. Obojí současně dnes bohužel splnit nejde.

[lertimir]

Souhlas. Záloha, která restauruje všechny atributy souboru se nedá udělat multiplatformě. Ale multiplatformě jde udělat síťové zálohování, kdy na jedne síťový systém může plně zálohovat, Linux, Win, BSDUnix i OSX.

[Filip Jirsák]

Navíc síťové zálohování má tu výhodu, že se může dělat automaticky, a zálohy se mohou automaticky kontrolovat. Zálohování způsobem „připojím disk k počítači“ je náchylné na „teď nemám čas / nechce se mi, až příště“ a „někdy bych měl udělat kontrolu zálohy“. Zároveň pokud se to bude dělat ručním kopírováním souborů, hrozí, že se na něco zapomene, udělá se v zálohách nepořádek, nebo se něco omylem smaže. Zálohování je otravné a je u něj důležitá preciznost, proto by se mělo dělat automaticky.

[k3dAR]

nic proti sitovemu zalohovani, ale to co pises je zbytecne zavadejici... i pri zaloze na lokalni disk samozrejme to vse muzes(a ty to vis):
- automaticky po pripojeni USB zarizeni pres udev pravidlo pustit zalohu (tedy totozne jako bys mel nastaveno pri sitovou zalohu)
(nebo ho mit stale pripojene a jen probouzet/usinat usb port a poustet zalohy pres cron)
- automaticky se provede zaloha odkopirovani dle nastavani cest/souboru/pripon/wildcard atd (tedy totozne jako bys mel nastaveno pri sitovou zalohu)
- automaticky provede kontrolu zaloh (tedy totozne jako bys mel nastaveno pri sitovou zalohu)
- automaticky vybrane zalohy muze verzovat (rdiff-backup, git)
- automaticky vybrane zalohy muze nahravat zaroven i na remote uloziste (ssh, sftp, rsync, ftps)
- automaticky udelat cokoliv te napadne...

[lertimir]

V to případě by asi by bylo vhodné tazateli i poradit, jak to udělat(naskriptovat) pod win a nezačít tim, ať si nainstaluje cygwin.

Podle mne ta multiplatformnost (uvedl lin, win a bsd) společně s lokálním použitím je zabíjející pro jakékoliv smysluplné uvahy nad formátem disku a automatickým zálohováním. Pořídil bych Malinu i starou, k ní převěsil disk a měl tam automatický soft. Mám rád backuppc díky jednoduchému webovému rozhraní a záznamem s kompresí podle hashů souborů, takže pak je v záloze soubor jednou i když je z mnoha míst a z mnoha postupných záloh. Ale je skoro jedno čím to udělá.

[k3dAR]

ale jiste, uz sem to psal #13, na externim disku mit zaroven nainstalovan GNU/Linux a ten poustet na ostatnim HW, pak pouzije to naskriptovani co ma jednou udelane pro GNU/Linux :)

[Filip Jirsák]

po pripojeni USB zarizeni

A v tom je ten problém. Zálohovací server připojený do sítě je mnohem jednodušší řešení, než robot, který bude připojovat USB disky.

nebo ho mit stale pripojene

Pokud bude ten disk trvale připojený, pravděpodobně nebude nutné řešit zálohu ze tří různých OS.

[k3dAR]

a co kdyz tazatel/nekdo ty zarizeni s ruznyma OS nema ve stejne siti? nema/nechce povolit pristup na svuj zalohovaci server z internetu? nechce pouzit VPS/server na internetu ani zalohovat do nejake "cmoudove" sluzby? nebo chce proste ten USB disk strcit do trezoru? nebo, nebo, nebo....
kazdopadne tak jako tak neplati tve "sitove zalohovani lze automatizovat a kontrolovat" protoze to lokalni lze taky, nemam nic ani proti jednomu, chapu vyhody i nevyhody obojiho... ;)

[R]

Neviem, co si predstavujes pod pojmom "klasicky dvd prehravac", ale vacsina zariadeni ExFAT nepodporuje. Dovod je jednoduchy: vyrobca by z toho musel platit vypalne Microsoftu. Takze tento format silne neodporucam

[lukve]

pre istotu som sa prihlasil aby bolo zrejme ze sa jedna o mna...

 

takze. NTFS podla mna je ok splnuje poziadavoky.

 

OpenBSD -> len read only

FreeBSD -> odstranena podpora s jadra uz len cez FUSE ak sa nemylim

Windows

Linux

Haiku

FAT32 asi nie to je dobre na USB,flasky, presiel som si par diskusii na nete a exfat je bud pomaly takze moji kandidati su EXT3 a NTFS

 

k tomu EXT3 tak EXT3 je EXT2 so zurnalom mozno nejake mensie vecsie odlisnosti EXT4 je uz zbrusu novy fs. linuxovy driver dokaze pripojit EXT2/3 cez EXT4 subsys ale FreeBSD pripoji len EXT2 a EXT3 bez zurnalu cez EXT2 driver. EXT4 nie je tam aj nejaky rozdiel v strukture dat 128 vs 256bit.

[k3dAR]

pokud NTFS s "len read only" splnuje pozadavky, tak by mohlo i to EXT4, ve FreeBSD je take readonly, a plany do budoucna ma pridat podporu write, ale to EXT3 by pravda fungovalo zapis uz ted :)

jinak NTFS a Linux, opravdu ti nevadi ze na to neulozis rozsirene atributy, rozdilne velikosti pisma, ze v Linuxu nemas moznost provest kontrolu filesystemu? budes to pripojovat primarne k Windows, nebo budes mit Windows neustale k dispozici "nekde vedle"?