abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 17:31 | Pozvánky

Nově vzniklá skupina GDG Plzeň pořádá 5. 9. 2014 od 19:00 přednášku o vývoji pro platformu Android Wear. Akce potrvá přibližně hodinu a přednášející David Vávra vás při ní uvede do tajů vývoje pro tzv. chytré hodinky.

… více »
Gug.cz | Komentářů: 0
dnes 17:18 | Nová verze
Rok po vydání Calibre 1.0 (zprávička) vyšlo Calibre 2.0. V průběhu roku byl tento software pro správu elektronických knih postupně rozšířen o řadu nových vlastností. Zmínit lze editor elektronických knih (EPUB i AZW3) nebo možnost porovnávání elektronických knih. Calibre nově vyžaduje framework Qt ve verzi 5.
Ladislav Hagara | Komentářů: 1
včera 13:32 | Bezpečnostní upozornění
Byly vydány verze 5.5.16 a 5.4.32 skriptovacího jazyka PHP. Ve verzi 5.5.16 jsou řešeny bezpečnostní problémy CVE-2014-3538, CVE-2014-3587, CVE-2014-2497, CVE-2014-5120 a CVE-2014-3597. Ve verzi 5.4.32 navíc CVE-2014-4670 a CVE-2014-4698. Řada 5.3 nebyla aktualizována. Verze 5.3.29 z 14. srpna je poslední v řadě. Uživatelům řady 5.3 se doporučuje přechod na 5.4 nebo 5.5.
Ladislav Hagara | Komentářů: 0
včera 06:53 | IT novinky
T-Mobile začal u nás prodávat telefon s Firefox OS. Jedná se o Alcatel One Touch Fire E s Firefox OS 1.3 za plnou cenu 3 399 Kč. [Mozilla.cz]
Ladislav Hagara | Komentářů: 44
21.8. 18:11 | Nová verze
Po třech měsících vývoje a pouze o dva dny později než bylo plánováno byla vydána verze 1.11 knihoven EFL (Enlightenment Foundation Libraries) a knihoven Elementary, Emotion Generic Players a Evas Generic Loaders. Z novinek lze zmínit například Elua, nový LuaJIT runtime pro rychlý vývoj aplikací s EFL, nebo podporu ETC2 (Ericsson Texture Compression).
Ladislav Hagara | Komentářů: 15
21.8. 06:58 | Komunita
Multiplatformní framework Qt bude přelicencován. Současná verze 5.3 je k dispozici pod licencemi LGPLv2.1, GPLv3 a komerční licencí. Qt 5.4 bude k dispozici pod LGPLv2.1, LGPLv3 a komerční licencí. Některé nově přidané moduly už budou ale k dispozici pouze pod LGPLv3 a komerční licencí. Cílem je jejich ochrana před tzv. tivoizací.
Ladislav Hagara | Komentářů: 9
20.8. 17:32 | Nová verze
Byla vydána verze 4.14 desktopového prostředí KDE. Nová verze přináší především vylepšení aplikací. Vlastní prostředí a knihovny jsou od vydání verze 4.11 v udržovacím módu. Vývojáři se primárně věnují přechodu na KDE Frameworks 5 (zprávička) a KDE Plasma 5 (zprávička).
Ladislav Hagara | Komentářů: 24
20.8. 12:34 | Nová verze
Vyšla verze 216 system manageru systemd. Byla například přidána utilita networkctl pro systemd-networkd, možnost posílat logy z journald na jiný server (systemd-journal-upload) a nebo nová komponenta systemd-firstboot starající se o základní nastavení systému.
Ruenix | Komentářů: 280
19.8. 15:14 | Nová verze
Nová verze standardu programovacího jazyka C++, C++14, formálně "International Standard ISO/IEC 14882:2014(E) Programming Language C++", byla jednohlasně schválena. [Phoronix]
Ladislav Hagara | Komentářů: 28
19.8. 07:10 | Komunita
V červnu skončil Freecode (zprávička), do roku 2011 Freshmeat, kdysi oblíbený katalog svobodného a otevřeného softwaru. Návštěvnost Freecode byla tak nízká, že se pro majitele stal nezajímavým. Záznamy o softwaru přestaly být aktualizovány. Řadě pravidelných návštěvníků ale informace o nových verzích tak chyběly, že vznikl komunitní projekt freshcode.club.
Ladislav Hagara | Komentářů: 0
Hlasuji z:
 (86%)
 (10%)
 (2%)
 (1%)
 (0%)
 (0%)
Celkem 2694 hlasů
 Komentářů: 41, poslední 19.8. 07:47
Rozcestník
Reklama
Autoškola testy online Levný benzín

Btrfs, lepší systém souborů – teorie

14. 12. 2011 | Tomáš Crhonek | Systém | 16073×

Btrfs je souborový systém nové generace, u jehož zrodu stojí především společnost Oracle. Je to takové ZFS pro Linux, ačkoliv se od sebe tyto souborové systémy dosti odlišují. V první části dvoudílného článku se podíváme na obecné vlastnosti Btrfs. Za pozornost stojí i dříve vydaný článek Krátká historie Btrfs.

Obsah

Základní velikosti:

  • Maximální velikost svazku: 16 EiB.
  • Maximální velikost souboru: 16 EiB.
  • Maximální počet souborů: 2^64.

Vlastnosti:

  • Kopírování při zápisu.
  • Postavený téměř výhradně na b+stromech (b-stromy kompatibilní s technikou COW).
  • Vestavěná podpora pro více zařízení.
  • Vestavěná podpora pro redundanci dat i metadat (ekvivalent raid1, raid10, raid5 je ve vývoji).
  • Kontrolní součty každého bloku.
  • Systém práv: POSIX, ACL.
  • Rozšířené atributy souboru.
  • Transparentní komprese.
  • Transparentní šifrování (ve vývoji).
  • Deduplikace bloků (ve vývoji).
  • Zapisovatelné snímky.

Bezpečnost

link

V souborovém systému Btrfs má každý blok (blok data i metadat) přiřazen kontrolní součet, který se kontroluje při každém jeho čtení. Pokud kontrolní součet nesouhlasí s přečtenými daty, jsou data přečtena z jiného zařízení (pokud je k disposici). Pokud je kontrolní součet na druhém zařízení v pořádku, jsou data opravena i na zařízení prvním.

Btrfs má tak schopnost detekce poškozených bloků a také automatickou opravu všech jeho kopií. Je to posun jak oproti běžným systémům souborů, které kontrolní součty nemají (případně mají kontroly pouze vlastních metadat), tak i oproti systémům RAID, které také při běžných operacích nekontrolují, zda kopie (či parita u raid5,6) souhlasí. U Btrfs by tak mělo méně často docházet k tzv. tichému poškození dat (silent data corruption) způsobenému selhávajícím hardware. Zatím ale neexistuje příkaz, jak vynutit kontrolu celého systému souborů, lze ale snadno napsat skript, který přečte všechny soubory a tím také dojde ke kontrole součtů všech datových bloků.

Podpora více zařízení

link

Běžné systémy souborů lze vytvořit pouze nad jedním blokovým zařízením. Tedy typicky nad jedním diskovým oddílem. Pokud je potřeba zvýšené ochrany dat, nastupují řadiče (případně software v jádře) raid, které ale opět exportují pouze jedno blokové zařízení. Nad tímto zařízením se vytvoří systém souborů. Ve starém pojetí byl tedy potřeba nějaký device manager, který se staral o redundantní spojení více úložišť. Nad ním byla (nepovinná) vrstva rozdělení tohoto jednoho úložiště na více oddílů (klasické diskové oddíly nebo LVM).

Btrfs tento třívrstvý koncept zcela ruší (přičemž samozřejmě je možné jej vytvořit nad běžným oddílem či raid svazkem, ale je to zbytečné a nic navíc to nepřináší) a slučuje do jedné vrstvy. Souborový systém samotný se stará o redundantní uložení dat na více zařízení i o rozložení zátěže při jejich čtení. Toto spojení má své výhody v možnosti snadné manipulace se zařízeními, ta je možné odpojovat (dostupné volné místo se tak sníží) nebo připojovat nová zařízení a zvětšit tak dostupné místo. Btrfs také, na rozdíl od raid řadičů a softwarových řešení, nevyžaduje (například pro zrcadlení) stejně velké disky, zrcadlený systém souborů lze vytvořit i na lichém počtu zařízení. Btrfs se postará o uložení jednotlivých bloků na dvě různá zařízení. V současné době je podpora pro ekvivalent raid0, raid1 a raid10, ve vývoji je podpora ekvivalentu raid5 a raid6.

Kopírování při zápisu

link

Současné systémy souborů (například: ext3, xfs) při zápisu (v tomto případě při změně obsahu souboru) modifikují bloky dat na disku. Pokud se při havárii (výpadku napájení) nestihne zapsat celý měněný blok na disk, data souboru jsou poškozena. A zatímco proti poškození metadat se systémy souborů brání pomocí žurnálu (a jinými technikami), kam se zapisují aktuální operace a jejich stav, tak proti poškození dat samotných mnoho obrany neexistuje (jen ext3 a ext4 umožňují také žurnálování dat, čímž ale efektivně snižují rychlost zápisu na systém souborů na polovinu – data jsou zapsána nejprve do žurnálu a až po té do bloků daného souboru).

Btrfs pracuje jinak. Při modifikaci souboru se nikdy nemodifikuje blok s aktuálními daty, ale je zapsán blok nový a až po té jsou atomicky změněny adresy v datových strukturách právě na tento nový blok. Tato technika se jmenuje kopírování při zápisu (copy on write – cow). Při havárii systému (výpadek napájení) tak mohou nastat dva konzistentní stavy systému souborů:

  • Nový blok se stihl zapsat a potvrdit, data v souboru jsou tedy nová a v pořádku.
  • Nebo se blok nestihl zapsat a potvrdit na disk, v takovém případě jsou data v souboru v konzistentním stavu jako před zápisem a výpadkem.

Z předchozího je patrné, že systém souborů atomicky přechází z jednoho konzistentního stavu do druhého a to platí nejen pro strukturu systému souborů samotného (metadata), ale také pro data samotná. Tento postup (zápisu nového bloku místo modifikace původního) má však i své stinné stránky, zejména fragmentaci bloků jednoho souboru. Btrfs tak, jako první čistě linuxový systém souborů, přichází s nástrojem na defragmentaci.

Vlastnost kopírování bloků při zápisu není jen nějakou teoretickou zajímavostí, naopak nabízí spoustu nových a užitečných vlastností použitelných uživateli. Asi nejméně zajímavou (v porovnaní s dalšími vlastnostmi), přesto však okamžitě použitelnou vlastností Btrfs, je možnost rychle a úsporně vytvářet klony (referenční linky) souborů. 20. srpna 2009 přibyl ve standardním nástroji cp parametr --reflink, který atomicky vytvoří kopii souboru pomocí cow. Použití je nasnadě, pokud pracujete s velkými soubory (například obrazy disků), můžete si takto efektivně vytvářet jejich kopie a nezávisle je modifikovat (na rozdíl od pevných či symbolických linků se zde jedná o dva různé soubory, které na počátku pouze sdílejí stejné bloky na disku). Místo na disku zabírají pouze změněné bloky, lze tak efektivně pracovat se soubory, které mají souhrnnou velikost větší, než je dostupné místo na disku.

fsck.btrfs

link

Btrfs má dvě prvenství. Je to první linuxový systém souborů s nástrojem na defragmentaci a také jediným systémem souborů bez nástroje na kontrolu. Zatímco fragmentace je přímým důsledkem alokace nových bloků místo změny původních (COW) a defragmentační nástroj je tedy nezbytně nutný pro zachování optimální rychlosti systému souborů, tak nástroj na offline kontrolu není podle návrhu nutný vůbec.

Realita je bohužel tvrdá a i Btrfs se může poškodit při výpadku napájení, například na diskových zařízeních, které lžou o provedení příkazu FLUSH (vynucení zapsání dat z cache na disk). Tato zařízení vrátí odpověď o provedení příkazu dříve, než jej skutečně provedou (což znamená, že se data na některá zařízení zapíší a na jiné ne, pokud v této chvíli dojde k výpadku napájení, dojde také k těžké nekonzistenci dat mezi různými zařízeními). I proto se offline kontrola Btrfs hodí, v současné době se již na tomto nástroji pracuje.

Pododdíly a jejich snímky

link

Další vlastností, kterou nenalezneme v žádném současném systému souborů, jsou pododdíly (subvolume). Na pododdíly můžeme nahlížet buď jako na ekvivalent diskových oddílů nebo jako lepší adresáře (pododdíly je možné vytvářet v prakticky neomezeném množství a kdekoliv v adresářové hierarchii systému souborů).

V prvním náhledu můžeme pododdíly chápat jako diskové oddíly s tím rozdílem, že volné místo diskových zařízení je sdílené všemi takto vytvořenými oddíly. Přidání dalšího diskového zařízení do Btrfs automaticky znamená navýšení místa pro všechny pododdíly. Čímž se odstraňuje jedna z nevýhod statických diskových oddílů, kterou je distribuce volného místa. Pododdíl lze připojovat s různými parametry, například transparentní komprese; ve vývoji jsou kvóty a šifrování.

Ve druhém náhledu, tedy lepších adresářů, nabízí Btrfs možnost vytvářet klony pododdílu (snapshoty, snímky). Snímek je atomicky vytvořený obraz pododdílu, který je dále nezávislý na původním pododdílu. Je dobré si připomenout, že snímek je také pododdíl, který jen vznikl jako klon jiného pododdílu, ale je nadále nezávislý. Z toho plyne, že jej, stejně jako ostatní pododdíly, lze libovolně mazat, připojovat s různými parametry a také dále atomicky klonovat.

Volné místo

link

Zjistit volné a také i zabrané místo na oddílu s Btrfs je obtížnější, než se na první pohled může znát. Zatímco na běžném systému souborů je mezi bloky a soubory na disku jednoznačné mapování (jeden blok může být součástí nejvýše jednoho souboru), tak u BTRFS je tomu jinak. Jeden blok může být součástí mnoha souborů, a to jak v případě referenčních linků, tak zejména klonů pododdílů. V Btrfs tak existuje několik více či méně přesných způsobů zjištění místa na disku.

V druhé části článku, která vyjde příští týden, uvidíte praktické ukázky práce s Btrfs.

       

Hodnocení: 100 %

        špatnédobré        

Nástroje: Tisk bez diskuse

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

14.12.2011 00:31 branchman
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Viem, ze je to clanok o Btrfs, ale toto sa mi nezda:
(jen ext3 a ext4 umožňují také žurnálování dat, čímž ale efektivně snižují rychlost zápisu na systém souborů na polovinu – data jsou zapsána nejprve do žurnálu a až po té do bloků daného souboru).
Nebolo by efektivnejsie zurnal "posuvat po disku", vzdy do neho zapisat a potom len odkazat na tento blok z inode a premiestnit zurnal o trochu dalej? Nebol by tam stale rovnaky problem pri prepise dat zo zurnalu do blokov?

Takyto ext3 by mi z principu nemohol dovolit vytvorit subor vacsi ako polovica disku (druha polovica by musela byt zurnal), co sa mi nezda - v praxi som to pred chvilou skusal na
dd if=/dev/zero of=testfile bs=1M count=100
mkfs.ext3 testfile
sudo mount -o loop testfile /mnt/test
dd if=/dev/zero of=/mnt/test/testfile bs=1M count=99
a prebehlo to v pohode
14.12.2011 01:42 qazasd
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
jen ext3 a ext4 umožňují také žurnálování dat
mount -o loop -o data=journal testfile /mnt/test
dd if=/dev/zero of=/mnt/test/testfile bs=1M count=99
dd: zápis „/mnt/test/testfile“: Na zařízení není volné místo
14.12.2011 09:20 kapo | skóre: 10 | blog: runtime
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Rika se tomu Wandering logs a je to pouzito napr. v ReiserFS, viz stary clanek: http://lwn.net/Articles/41652/
Why make things difficult, when it is possible to make them cryptic... - Aksel Peter Jorgensen
14.12.2011 13:50 Sten
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Nebolo by efektivnejsie zurnal "posuvat po disku", vzdy do neho zapisat a potom len odkazat na tento blok z inode a premiestnit zurnal o trochu dalej?
Čili implementovat COW? Samozřejmě by to efektivnější bylo, kdyby ext3/4 podporovalo posuvný žurnál.
Takyto ext3 by mi z principu nemohol dovolit vytvorit subor vacsi ako polovica disku (druha polovica by musela byt zurnal), co sa mi nezda
ext3/4 automaticky commituje žurnál jednou za čas (standardně je to pět sekund), případně pokud se žurnál naplní. To, že data žurnál chrání, tedy platí jenom omezeně (ale btrfs to při nedostatku místa dělá IMO stejně).
14.12.2011 14:10 Sten
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Tak ne, ext3/4/btrfs žurnál u probíhajícího zápisu nečistí, ale aplikace, kterou jsem to zkoušel, při ENOSPC zavolá fsync a zkusí to znovu.
14.12.2011 00:39 lertimir | skóre: 52 | blog: Par_slov
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Hlavní problém s btrfs je asi chybějící fsck. Chris vypuštění pořád odkládá. Mělo být na LinuxCon Europe a nic.
14.12.2011 07:52 CET
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Hlavní problém s btrfs je asi chybějící fsck. Chris vypuštění pořád odkládá. Mělo být na LinuxCon Europe a nic.
Tak pokud by opravdu nebylo mozne btrfs poskodit, tak bych po fsck neprahnul. Jestli ale nektery zarizeni po FLUSH data nezapisou, tak je to spis problem HW nez btrfs a takovej HW bych nechtel ani s fsck.btrfs, protoze abych pri kazdym vypadku elektriky musel resit fsck a pak slysel keci, ze btrfs neni nijak lepsi, protoze po vypadku elektriky musi opravovat, to opravdu ne.

Btrfs (podle toho clanku) vypada skvele a jenom na spatnym HW muze mit problemy. Ale spatnej HW bych nechtel pouzivat ani s ext3 nebo reiserfs.

Jinak by me zajimalo takovyhle detailnejsi srovnani se ZFS:) ZFS mi pripada hodne podobny jako btrfs, ale rad bych porovnani v tech technictejsich detailech, ktere clanek zminuje. Bude porovnani?
14.12.2011 08:18 Petr
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Njn, jenže jak poznáte tento špatný hardware když ho budete kupovat?
14.12.2011 10:18 kolcon | skóre: 13 | blog: kolcon
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
... pripadne pokud je to primountovane bez barrier, tak je to raz dva...
14.12.2011 10:26 Whyki
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Btrfs jsem v drivejsich verzich chvili pouzival a poskodit jej je velmi jednoduche. Napisu 2 zpusoby kterymi jsem to zvladnul behem 3 dni pouzivani.

1. v notebooku vam dojde batterie, system se poskodil a zadna oprava v te dobe nebyla mozna

2. Start systemu s jinym jadrem v okamziku kdy jste provedli hibernaci do swap.

Obcas se zkratka neco stane a prijit o vsechny data je vec kterou neskousnu. I zminovany reiserFs ktery se tezko opravoval umoznoval zotaveni v naproste vetsine pripadu.
14.12.2011 14:16 Sten
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Reiserfs byl donedávna to nejhorší, z čeho jsem kdy obnovoval data, při rozpadnutí RAIDu přesunul 90 % souborů do lost+found (bez jména). xfs přesunul asi 5 % (plus asi 1 ‰ zmizelo). ext3 rozpadnutí RAIDu zvládlo bez chyb, to mě hodně překvapilo.

Tedy btrfs je ještě horší, tam to řeší rovnou kernel panic.
Tomáš Bžatek avatar 14.12.2011 16:16 Tomáš Bžatek | skóre: 25 | Brno
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Zajimave, ja mel prave s reiserfs 3.6 nejvetsi uspech pri obnovovani poskozene partition, treba pri prepsani 20% zacatku nulama nebo pri rozpadnutem mirroru raidu, kdy prichazely nahodne data z underlying device.
Koupim litajiciho tucnaka
Luboš Doležel (Doli) avatar 14.12.2011 16:24 Luboš Doležel (Doli) | skóre: 98 | blog: Doliho blog | Kladensko
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Já jsem jednou u Reiseru natvrdo vypnul počítač a to bylo naposledy, co jsem se k těm datům dostal. fsck označoval souborový systém jako v pořádku, ale mount vždycky selhal s výpisem nějakého assertu do dmesg.
Max avatar 14.12.2011 18:29 Max | skóre: 61 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Hmm, u nás se PC vypínal natvrdo jak na běžícím pásu. O dost výpadků se postaral psův zadek (nebo náhodná návštěvník zavadil nohou), který se opřel o hw reset. Vždy ok, takže zajímavé :).
Zdar Max
Měl jsem sen ... :(
Luboš Doležel (Doli) avatar 14.12.2011 19:30 Luboš Doležel (Doli) | skóre: 98 | blog: Doliho blog | Kladensko
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Jo, já taky neměl nikdy problém. Až jednou...
Bedňa avatar 14.12.2011 20:41 Bedňa | skóre: 29 | blog: Žumpa | Horňany
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Na to pomáha reiserfsck --rebuild-tree.
Luboš Doležel (Doli) avatar 14.12.2011 21:08 Luboš Doležel (Doli) | skóre: 98 | blog: Doliho blog | Kladensko
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
To už jsem nechtěl podstupovat, cenná data tam nebyla. Ale principiálně mi vadilo, že fsck.reiserfs po dlouho trvající kontrole poví, že je všechno OK, a přitom to nejde připojit ani R/O.
Bedňa avatar 14.12.2011 22:05 Bedňa | skóre: 29 | blog: Žumpa | Horňany
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
To som osobne ešte nezažil, že by nešiel pripojiť, nemohlo byť skôr niečo s partíciou, než s FS?
Luboš Doležel (Doli) avatar 14.12.2011 23:53 Luboš Doležel (Doli) | skóre: 98 | blog: Doliho blog | Kladensko
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
S tou se nic nedělalo a FSCK opravdu všechno prošel a bylo to podle něj OK. Byl to skutečně assert z kódu pro reiserfs. Od té doby jsem ho nikdy nikam nedal.
18.12.2011 20:59 Sten
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
To jsem se dočetl a následně zkusil taky. Ano, data to zachránilo, ale všechna byla v lost+found a bez jmen souborů.
Bedňa avatar 23.12.2011 19:20 Bedňa | skóre: 29 | blog: Žumpa | Horňany
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
To sa mi nikdy nestalo.
15.12.2011 19:42 Semo | skóre: 44 | blog: Semo
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Pred rokmi som pisal zvukovy nahravac pracujuci s usb2serial prevodnikom, na ktory bol v jadre zabugovany driver a obcas si sahol na NULL pointer pod. nasledkom coho casto tuhlo jadro a natvrdo som resetoval. fsck.ext3 si s tym vzdy poradilo az do momentu, ked sa tvarilo, ze si poradilo (hladilo, ze FS je opraveny), ale pomiesalo bloky roznych suborov dohromady. A akurat sa mu to podarilo na zdrojakoch a skompilovanych binarkach toho, co som prave pisal. To ma z ext3 vyliecilo a odvtedy pouzivam vsade reiserfs a ten uz podobne veci prezil absolutne vzdy. A ked som raz zmazal strasne kvantum uzivatelskych dat vinou blbej klavesnice, tak vysledok po --rebuild-tree ma sice stal asi 6h prace, ale 99% som obnovil.

Takze uz mna je ext3 pouzivane v sucte znacne mensiu dobu ako reiserfs a napriek tomu mam s nim viac blbych zazitkov.
If you hold a Unix shell up to your ear, you can you hear the C.
14.12.2011 14:29 8an | skóre: 30
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Už existuje alespoň nástroj restore, který dokáže ze zbořeného filesystému obnovit data (soubory včetně adresářové struktury, ale bez symlinků a práv souborů, takže systém je potřeba přeinstalovat, ale o svoje data nepřijdete).
If you build an operating system that even an idiot can use, only idiots will use it.
Bedňa avatar 14.12.2011 20:39 Bedňa | skóre: 29 | blog: Žumpa | Horňany
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
I zminovany reiserFs ktery se tezko opravoval umoznoval zotaveni v naproste vetsine pripadu.
Prepáč mi, ale je to totálna blbosť, na ReiserFS som prešiel aj preto že, práve pri HW chybách má najlepšie schopnosti sa zotaviť, už som tu aj o tom písal, Ext mi dva krát na tom istom HW skapal bez akejkoľvek možnosti obnovy. Na Btrfs sa teším, ale na Reiser budem v dobrom spomínať naveky. Nebiť toho, že sa Ext dostal do Kernelu, nikdy by ten zmätok v konkurencií nemal šancu. No a keď prirovnám dobu aktívneho vývoja ReiserFS, aký FS na Linuxe sa mu vyrovnal? Teraz po rokoch ho doťahujú, ale Ext ani za sto rokov, aj keď sú už dnes rýchle procesory a disky, skús si vylistovať adresár bin na Reiseri a Ext, stále má na vrch tak tri krát, prv to bývalo 5krát a viac.
15.12.2011 11:40 Whyki
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Mluvim pouze z vlastni zkusenosti, nemusi jit o pravidlo.

Moje zkusenotst byla takova ze rozbit ReiserFs bylo daleko jednodussi nez ext3. A opravy byli technicky narocnejsi a casto jsem prisel o cast dat.
Bedňa avatar 15.12.2011 19:11 Bedňa | skóre: 29 | blog: Žumpa | Horňany
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Mne sa to ešte nepodarilo za niekoľko rokov, ale počul som, že možné to je :)
Heron avatar 14.12.2011 13:17 Heron | skóre: 48 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Je to tak.

Pokud diskové zařízení lže o provedeném zápisu, tak je to problém HW. S tím se žadný FS neumí vyrovnat a u Btrfs je to ještě znásobeno použitím více diskových zařízení. Případná ztráta dat jde tedy plně na vruh vadnému HW.

Srovnání Btrfs a ZFS neplánuji, se ZFS nemám žádné zkušenosti.
15.12.2011 14:02 Program
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Tenhle přístup miluju. To je problém HW a basta, aneb tupost některých lidí nezná meze...
15.12.2011 16:02 Zopper | skóre: 12
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Jenže tady to tak opravdu je - FS nemá jinou možnost, než předpokládat, že k FLUSH došlo. Samozřejmě, byla by tu ještě možnost čekat třeba deset vteřin, ale takové řešení není reálně použitelné...

S falešným flsuh si neporadí žádný FS. Příklad: na disku by byl flush skutečně dokončen až deset sekund po ohlášení. Já ten disk mám zapojený jako externí, dám umount a jakmile systém zahlásí odpojení, vytáhnu ho - flush se tedy neprovedl a ať tam už byl jakýkoliv FS, je tu problém.

Tohle je poněkud extrémní příklad, ale snad dost jasně vysvětluje, proč nemůže filesystém řešit disky, které lžou. Prostě to není možné.
"Dlouho ještě chcete soudit proti právu, stranit svévolníkům?" Ž 82,2
15.12.2011 21:25 lertimir | skóre: 52 | blog: Par_slov
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Ale takto mnohdy je. Kamarád měl obrovské problémy s externím 2,5" diskem, který se napájel přímo s USB, provedl zápis korektní odpojení (měl to sice na Win ale to by hrát roli nemělo.) Po zahlášeném povolení odpojit disk vytáhl a mnohdy tam data nebyly, někdy i po 5 sekundách. Nakonec to řešil tak, že když disk měl okamžitě odpojovat, tak měl 16 MB soubor, který po svých datech tam nakopíroval a ihned smazal a pak odpojil disk. Soubor vytlačil s interního bufferu disku zapisovaná data a disk byl v pořádku. Ale je to blbárna.
pavlix avatar 15.12.2011 21:05 pavlix | skóre: 48 | blog: pavlix
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Tenhle přístup miluju. To je problém HW a basta, aneb tupost některých lidí nezná meze...
To nezná. A často si to samé myslí o druhých.
14.12.2011 13:58 Sten
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Mám disk, který flush správně implementuje, a přesto se mi btrfs poškodilo (došlo místo na disku, několik bugů s tím stále existuje). Chybějící fsck by ani nebyl takový problém, hlavní problém je (byl), že veškeré chyby končí kernel panic, a to i když je oddíl připojen read-only — to se opravdu skvěle zachraňují data.
14.12.2011 19:45 d
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Chybějící fsck by ani nebyl takový problém, hlavní problém je (byl), že veškeré chyby končí kernel panic ...
Ano, stavu, kdy to muze skoncit panic'em, je stale jeste mnoho, ale aktivne se pracuje na handlovani nejcastejsich chybovych stavu.
a to i když je oddíl připojen read-only — to se opravdu skvěle zachraňují data.
Data se velmi dobre obnovuji ze zalozni kopie. Btrfs ma stale status experimentalniho filesystemu ve vyvoji.
15.12.2011 07:39 CET
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
došlo místo na disku, několik bugů s tím stále existuje
OK, to jsou ale bugy btrfs, ne features. Az se ty bugy odstrani, tak by fsck nemel byt potreba. A taky, na produktivni data nepouzivam unstable FS.
16.12.2011 16:15 Martin Mareš
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Ale spatnej HW bych nechtel pouzivat ani s ext3 nebo reiserfs.
No to asi nikdo :) Ale realita je bohužel taková, že takových disků je po světě habaděj a není to o nich snadné poznat, než nastane nějaký problém. A pokud nastane, setsakramentsky se hodí mít po ruce nástroj, kterým se dá FS opravit.

Nebo můžete narazit na bug ve firmware diskového pole, nebo můžete omylem přepsat kus partitiony, když si spletete disky, atd. Situací, kdy jsem potřeboval sáhnout po fsck, už bylo...
16.12.2011 20:55 lertimir | skóre: 52 | blog: Par_slov
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Jednu z metod, kterou používá kamarád na zjištování rizika chyb u nových disků je ta, že vždy provede uvodní plné formátování (na windows) kdy skutečně proběhne na každý sektor zápis a čtení. Ten formát je současných disku několik hodin (2TB / 100MB/s je 20 000 s. (Nevím jak to provést na linuxovém systému, třeba někdo poradí.) Současně při tom pravidelně monitoruje výskyt opravitelných read chyb, tak jak je ukazuje SMART tabulka disku. V případě, že četnost chyb je vysoká, disk vrací. Považuji dobré zpracovávání opravitelných read chyb jako jednu z možnosti včasné detekce problémů.
pavlix avatar 16.12.2011 22:18 pavlix | skóre: 48 | blog: pavlix
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
dd if=/dev/zero of=/dev/sdx
dd if=/dev/sdx of=/dev/null
Případně můžeš vyladit velikost bloků.
16.12.2011 22:25 Michal Kubeček | skóre: 69 | Luštěnice
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Není pak už praktičtější na to rovnou použít badblocks v read-write režimu? :-)
15.12.2011 00:01 Radek Hladik | skóre: 20
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Osobně si nemyslím, že jedinou funkcí fsck má být oprava po výpadku proudu nebo HW. Ostatně už to jméno navozuje spíše FileSystem ChecK, tedy kontrolu souborového systému. Prostě pokud jsou na FS věci, které se dají nějak křízem zkontrolovat, tak se zkontrolují a případně vyřeší. Například každý (nesmazaný) soubor by měl být v nějakém adresáří, projedu tedy všechny soubory a pokud některý není v žádném adresáří, šup s ním do lost+found. Nebo FAT si udržuje informaci o volném místě na disku, tak se to přepočítá a pokud nesedí, tak se to opraví. Extx má záložní superblocky, pokud se neshodují, tak se to nějak vyřeší...

Prostě se zkontroluje všecko možné, co má tak nějak spolu hrát, jestli je to opravdu vše OK. A neřeší se, jestli došlo k výpadku vadným HW, které něco nehlásí, jak má, nebo zda užívatel udělal fdisk sda1 místo fdisk sda... A další nezanedbatelná funkce je přečtení celého disku a jeho struktur a kontrola, zda je vše OK.
15.12.2011 07:45 CET
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Ostatně už to jméno navozuje spíše FileSystem ChecK, tedy kontrolu souborového systému. Prostě pokud jsou na FS věci, které se dají nějak křízem zkontrolovat, tak se zkontrolují a případně vyřeší. ....

Prostě se zkontroluje všecko možné, co má tak nějak spolu hrát, jestli je to opravdu vše OK. A další nezanedbatelná funkce je přečtení celého disku a jeho struktur a kontrola, zda je vše OK.

No dobra, jenze ty popisujes veci, ktere se resi u standardnich FS. Ext3 a FAT. btrfs ma kontrolni mechanismy vestavene a (jak je ve clanku napsano), pokud pri praci neshodu zjisti, tak ji opravi sam. Volne misto u FAT - na btrfs to neni tak jednoduche, uz jen definovat "volne misto" je obtizne - je volne misto pocet volnych bloku (pak to muze platit jen do te doby, dokud se nezacnou nektere linkovane kopie menit) nebo je to [celkove misto disku] - [velikost vsech souboru] (vcetne linkovanych) (pak ti muze vyjit, ze uz mas pres GB nad limit disku). Rozhodne se to ale musi resit dynamicky. Z navrhu btrfs se taky nemuze nikdy stat, ze by nesmazany soubor mohl byt mimo adresar (mel nejak poskozeny popisovac), protoze zapis se provadi bezpecne - dokud nejsou vsechna data na HW zapsana, tak se nezmeni odkaz. Kdyz se odkaz zmeni, tak jsou data zase v poradku na novem miste. At nastane vypadek kdykoliv, data jsou porad konzistentni.
15.12.2011 10:21 Radek Hladik | skóre: 20
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Chápu, že volné místo na BTRFS je komplikované. To jsem psal jako příklady kontrol, které se dají udělat křížem, tedy něco, co nějak má být a zároveň se to dá z jiného směru ověřit. BTRFS se svými B+ stromy, podsvazky, kontrolními součty a podobně určitě taky něco takového má. Vždyť už jen ta možnost ověřit, zda více kopií dat souhlasí. Pokud bych měl mít něčím nahradit RAID, pak určitě budu chtít nástroj, který mi ověří, že všechny kopie jsou konzistentní. A to v daném okamžiku a ne jen "vírou", že to tak má být.

A jsem vždy skeptický k tvrzením typu "nemůže se stát", "není možné", "transparetně se opraví"... Osobně už jsem zažil tolik "nečekaných", "nepravděpodobných" a "nemožných" situací, že bych mohl vyprávět :-)
15.12.2011 11:20 Petr Svoboda | skóre: 13 | blog: * | Příbram
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Z navrhu btrfs se taky nemuze nikdy stat, ze by nesmazany soubor mohl byt mimo adresar (mel nejak poskozeny popisovac), protoze zapis se provadi bezpecne - dokud nejsou vsechna data na HW zapsana, tak se nezmeni odkaz. Kdyz se odkaz zmeni, tak jsou data zase v poradku na novem miste. At nastane vypadek kdykoliv, data jsou porad konzistentni.
To ovsem predpoklada, ze vznikne verze, ktera neobsahje zadne chyby a bude navzdy bez chyb. Hmm... :-)
14.12.2011 09:31 Michal Vyskočil | skóre: 60 | blog: miblog | Praha
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Hezký článek. Přidám jenom obligátní rejpnutí
Btrfs má dvě prvenství. Je to první linuxový systém souborů s nástrojem na defragmentaci
Pokud definici drobet rozšíříme o POSIX kompatibilní souborové systémy, tak tím prvním byl ve skutečnosti xfs.
When your hammer is C++, everything begins to look like a thumb.
Heron avatar 14.12.2011 13:29 Heron | skóre: 48 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Díky :-)

Tou větičkou jsem myslel systém souborů, který je od začátku vyvíjen na linuxovém jádře. XFS má xfs_fsr, to jistě, ale je to FS firmy SGI původně pro IRIX.
14.12.2011 14:37 Michal Vyskočil | skóre: 60 | blog: miblog | Praha
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Já vím, proto jsem psal o rozšíření definice. Já to beru tak, že XFS je podporován jak v RHEL6, tak ve SLES11, takže o něm skutečně můžeme uvažovat jako o linuxovém FS, i když počítám, že btrfs má ambice jej do budoucna nahradit.
When your hammer is C++, everything begins to look like a thumb.
15.12.2011 21:31 lertimir | skóre: 52 | blog: Par_slov
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
XFS je výborný filesystém na operace s velkými soubory, ale také stačil jeden výpadek napájení, xfs se odmítlo moutnout a fsck běžel přes hodinu na 750GB filesystému. Podle mne bez fsck se existovat nedá.
30.12.2011 14:27 Sten
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Jj, XFS je výborný systém, dokud nedojde k „něčemu neočekávanému“ (rozpadnutí diskového pole, výpadek proudu), většinou se potom můžete s přinejmenším částí dat rozloučit.
19.12.2011 23:48 Lukas
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
No to urcite nema. Xfs je souborovy system s vynikajici skalovatelnosti, dobre si rozumi s databazemi a hodi se na ukladani velkych souboru. Zaroven ma taky velmi dobre vlastnosti pro ukladani streamovanych dat o vysoke rychlosti. To je neco co btrfs nikdy nebude, a uz jenom z podstaty sveho designu. Btrfs bude urcite velmi uzitecny na desktopech, v embeded zarizenich nebo jako /home, ale na virtualizaci, databaze ci nejake workloady s velkymi naroky na rychlost se uchyti jen stezi.
14.12.2011 13:23 Milan Beneš | skóre: 16 | blog: Kraft_durch_Freude
Rozbalit Rozbalit vše Subvolumes
Ahoj,
možná se pletu, ale koncept subvolumes mi připadá identický s "folders" na ZFS, nebo se pletu?
Ví někdo, jak je to s kvótami na btrfs?
14.12.2011 14:04 Sten
Rozbalit Rozbalit vše Re: Subvolumes
Btrfs kvóty podporuje, a to nejen user a group, ale i na subvolume, což je asi hlavní důvod, proč je na VPSkách používat :-)
14.12.2011 19:54 d
Rozbalit Rozbalit vše Re: Subvolumes
Btrfs kvóty podporuje, a to nejen user a group, ale i na subvolume, což je asi hlavní důvod, proč je na VPSkách používat :-)
Btrfs jeste quoty neumi, existuje experimentalni patch http://lwn.net/Articles/462401/ .
14.12.2011 14:03 Yenya
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Dvě drobné nepřesnosti:

- BTRFS implicitně vytváří a kontroluje kontrolní součty jen metadat, nikoliv dat samotných (jestli se něco nezměnilo od doby, co jsem se díval naposled). Kontrolní součty dat umí, ale není to implicitní chování.

- žurnálování dat nemusí nutně znamenat 2x pomalejší zápis. Je to o něco víc než 1x, ale zápis do žurnálu je rychlejší (protože sekvenční), takže pokud budu v rámci souboru přepisovat sem tam blok, nebude to 2x pomalejší. Navíc ten druhý zápis není časově kritický (nečeká se na něho), takže pokud disk není ze 100 % busy, může aplikace se žurnálováním dat dokonce zaznamenat zrychlení. Na druhou stranu pokud budu streamovat na disk velké množství sekvenčních dat, bude to víc než 2x pomalejší, protože kromě sekvenčního zápisu přidám občas seek mezi daty souboru a žurnálem.
Heron avatar 14.12.2011 14:25 Heron | skóre: 48 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Podle btrfs wiki je implicitní kontrola crc jak dat, tak i metadat. Ale to je skutečně drobnost.

K tomu žurnálování dat. Jasně, tam je více možností, ono to nemusí být vždy 2x pomalejší, například je možnost mít žurnál na jiném zařízení (třeba SSD), tedy rychlý a ovladač FS se potom postará o zápis dat na cílové datové bloky.

Díky za doplnění.
15.12.2011 19:14 čha čha čha
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
CRC a zadny crypto? Tak to je pekne na pikacu.. :/
14.12.2011 15:20 Michal Kubeček | skóre: 69 | Luštěnice
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
jen ext3 a ext4 umožňují také žurnálování dat

Žurnálování dat AFAIK umožňuje i ReiserFS (od jádra 2.6.8).

q66 avatar 14.12.2011 16:39 q66 | skóre: 30 | blog: Q's CZ devblog | Staines-upon-Thames
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie

osobně používám ZFS (FreeBSD 9) a nemůžu si jej vynachválit; btrfs bude asi něco podobného, ale sám jsem jej nezkoušel.

OctaForge developer - Enlightenment developer - Software Engineer @ Samsung Research UK
14.12.2011 18:25 JoHnY2
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Cekam az to jeste trochu dozraje a prijde podpora RAID5. Diky pekenymu zdrazeni HDD to jeste nemusim resit a nejspis to vyjde na konec jara a Fedoru 17. Ta obecne slouzi jako dobrej barometr pouzitelnosti.
14.12.2011 20:04 d
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Zatím ale neexistuje příkaz, jak vynutit kontrolu celého systému souborů, lze ale snadno napsat skript, který přečte všechny soubory a tím také dojde ke kontrole součtů všech datových bloků.
Ale existuje, viz "btrfs scrub", je v kernelu od verze 3.0. Nejen ze soubory nacte z disku, ale take provede opravu, pokud je to mozne.
14.12.2011 20:14 d
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
  • Transparentní šifrování (ve vývoji).
  • Deduplikace bloků (ve vývoji).
Na sifrovani se nepracuje ani neni k dispozici zadny experimentalni patch. Udelat sifrovani spravne je tezke, ZFS to trvalo nekolik let.

Experimentalni patch na deduplikaci existuje, http://lwn.net/Articles/422331/ . Jinak lze deduplikaci naprogramovat jiz dnes ciste v userspace pomoci ioctl clone, tj. spocitat si hashe bloku (nebo vetsich casti souboru) a provest slouceni pomoci toho ioctl. Zatim takovy nastroj neni k disposic(sic!)i.
14.12.2011 20:30 Petr Ježek | skóre: 8
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Na Archu je potvrzeno, že Btrfs vhodný na disk s velkým množstvím malých souborů, obdobně jako Reiserfs. Já jsem ho ještě nezkoušel, ale jiní reportují dobré výsledky, na SSD pak mimořádně skvělé (dokud SSD udrží data)...
Archlinux for your comps, faster running guaranted!
16.12.2011 15:49 Aleš Kapica | skóre: 41 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Používám Btrfs už docela dlouho na velkém 4TB logickém disku kde mám přímo data. Je nad sw raidem, takže pravděpodobnost HW chyby, která by jej nabourala je minimální.

Jinak používám Reiserfs. Ten je v pohodě pokud diskový oddíl nepřesáhne 1TB. To mě však nepálí, neboť jde většinou o systémové disky max. kolem 30GB.

Začal jsem však ve větší míře používat ext4, a to z toho důvodu, že pro uložení virtuálních disků je vhodnější. Neustálé žonglování s "ocaásky" co dělá Reiserfs, nebo průběžná kontrola CRC u Btrfs je u nich vcelku na nic - konzistenci FS virtuálního disku si zjišťujě virtuál uvnitř sám, takže by to jenom zbytečně zdržovalo.

pavlix avatar 16.12.2011 17:18 pavlix | skóre: 48 | blog: pavlix
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Používám Btrfs už docela dlouho na velkém 4TB logickém disku kde mám přímo data. Je nad sw raidem, takže pravděpodobnost HW chyby, která by jej nabourala je minimální.
Až na to, že RAID proti chybám v datech nijak nechrání. A většina variant raidu ani při sebelepší vůli nemůže chránit ani proti chybám na jednotlivých discích, pouze proti detekovanému selhání disku.
Začal jsem však ve větší míře používat ext4, a to z toho důvodu, že pro uložení virtuálních disků je vhodnější. Neustálé žonglování s "ocaásky" co dělá Reiserfs, nebo průběžná kontrola CRC u Btrfs je u nich vcelku na nic - konzistenci FS virtuálního disku si zjišťujě virtuál uvnitř sám, takže by to jenom zbytečně zdržovalo.
Ty na virtuální disky dobrovolně používáš soubory? Při jednoduchosti práce s LVM mi to přijde docela kontraproduktivní.
16.12.2011 22:10 sigma
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Ty na virtuální disky dobrovolně používáš soubory? Při jednoduchosti práce s LVM mi to přijde docela kontraproduktivní.
Ono to zas tak jednoduché není. Souborové úložiště virtuální disků nabízí podstatně lepší snapshoty a thin-provisioning než LVM. Třeba XenServer umí celkem dobře snapshoty i nad LVM, ale používají se docela magické triky a i tak první snapshot alokuje stejné místo jako má samotný celý virtuální disk. Např. s nativními snapshoty na SAN polích nelze linuxové LVM vůbec srovnávat.

Ale i tak, pokud bych měl volbu LVM nebo soubory, radši bych to dal na LVM. Určitě ale zase záleží na situaci druhu použití.
pavlix avatar 16.12.2011 22:21 pavlix | skóre: 48 | blog: pavlix
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
LVM umí snapshoty nativně... za běhu snapshotu můžeš celý disk zazálohovat přes dd nebo tar, pak zrušit snapshot. Fakt netuším, co bys ještě víc chtěl.

Souborové úložiště žádné snapshoty nenabísí. Pokud je umí ta daná virtualizace, umí je bez ohledu na to, jestli je to soubor nebo block device.

Přijde mi, jako kdybys to celé převracel naruby.
16.12.2011 23:32 sigma
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Nevim, nakolik ma smysl poustet se tady do diskuse, ale - implementace snapshotu v LVM je pro me nedostatecna. Je to opravdu tak max jsi psal - na zalohu a pak snapshot zrusit. I tak vytvoreni LVM snapshotu dost zasadne snizi vykon v zapisu. Myslim ze si to vyvojari uvedomuji a cetl jsem, ze se pracuje na podstatnem zlepseni moznosti LVM snapshotu.

Co vic bych chtel, a co virtualizacni reseni obvykle umi: pro kazdy virtual disk mit moznost drzet strom snapshotu (tj. nekolik snapshotu po sobe, pak se vratit zpatky, a pokracovat jinou vetvi). Pritom aby to nezabralo vic mista, nez objem zmenenych bloku + nejaka rezie. Kdyz to bude umet tohle, tak uz to umi i thin provisioning = mam zakladni obraz nejakeho stroje, z nej udelam X kopii a kazda mi na storage zabere jen to, co se zmenilo proti zakladu.

Jak udelas tohle pomoci LVM snapshotu? A proc v XenServeru, ktery to umi, tohle nepouzivaji a resi to pomoci vytvareni hromady obycejnych lv?

Souborovym ulozistem nemyslim prosty raw image, ale neco jako VHD format (mozna i QCOW2, ten tolik neznam), ktery prave resi veci jako thin-provision. Rozdil mezi FS a blokovym zarizenim je, ze soubory mohou dynamicky narustat a sdili pritom volne misto (nebo se pouziji primo sparse soubory, pokud to FS a OS umi).

(Psano z mobilu)
17.12.2011 12:13 Aleš Kapica | skóre: 41 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Až na to, že RAID proti chybám v datech nijak nechrání. A většina variant raidu ani při sebelepší vůli nemůže chránit ani proti chybám na jednotlivých discích, pouze proti detekovanému selhání disku.
Od toho je FS, aby si pořešil konzistenci dat, ne? Raid mi minimalizuje pravděpodobnost stavu, že se ty data ztratí nadobro.

Proč používám virtuální disky jako soubory? Jednoduchá odpověď - pracuje se tak s nimi lépe než s LVM oddíly. Krom toho pro poslední řešení které používám, je to výhodnější.

LukynZ avatar 20.12.2011 11:35 LukynZ | skóre: 1 | blog: status_quo | Ostrava
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Btrfs má dvě prvenství. Je to první linuxový systém souborů s nástrojem na defragmentaci....
Tak jiste, protoze to potrebuje jak prase drbani
20.12.2011 19:12 Aleš Kapica | skóre: 41 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Ty toho o tom teda víš..
LukynZ avatar 21.12.2011 07:15 LukynZ | skóre: 1 | blog: status_quo | Ostrava
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
To je odpoved jak z nosu
21.12.2011 20:46 Aleš Kapica | skóre: 41 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Zcela adekvátní vyjádření mého obdivu vůči znalci a mnohaletému uživateli linuxu, projevené na základě jeho jasnozřivého úsudku a vynikající znalosti fungování FS.
LukynZ avatar 21.12.2011 21:57 LukynZ | skóre: 1 | blog: status_quo | Ostrava
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
No spis arogantni hovadina hodna dlouholeteho uzivatele linuxu. Pokud je nejaky nesouhlas s tim, co jsem puvodne napsal, uvital bych spis vecnou odpoved a vyvraceni, ze to tak neni.
21.12.2011 23:36 Aleš Kapica | skóre: 41 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Proč bych měl já něco vyvracet? Když ty s tím máš problém. Já ne.
pepe_ avatar 18.3.2012 10:35 pepe_ | skóre: 44
Rozbalit Rozbalit vše Re: Btrfs, lepší systém souborů – teorie
Tak sem vyzkoušel BRTFS jako / pro 50GB nově instalovanej UB12.04 a tak pomalej FS degradoval rychlost pc na 1/6 , a na 1/3 s noatime. Netušim proč ale už sem to odstranil a zpět na reiserfs ...

Založit nové vláknoNahoru

ISSN 1214-1267   Powered by Hosting 90 Server hosting
© 1999-2013 Argonit s. r. o. Všechna práva vyhrazena.