Dotaz: Btrfs: Více disků s daty v single mode - co se stane při poruše disku?

Zdravím,

chtěl bych vytvořit Btrfs filesystém nad třemi disky s distribuovanými metadaty a daty v single mode (concatenation). Data nejsou nijak zvlášť důležitá, nicméně v případě poruchy jednoho disku nechci zbytečně přijít o všechna data. Jak se v tomto Btrfs chová? Je možné namontovat FS degradovaný a vykopírovat z něj "zbylá" data? Jaká je strategie rozmístění souborů nebo bloků na více discích? Může se běžně stát, že bloky jednoho souboru budou rozeseté po více discích? Může se běžně stát, že soubory, které k sobě nějak logicky patří (např. byly vytvořeny současně) se ocitnou na jiných discích? Pokud všechny disky budou stejně velké a jeden z nich selže, bude se množství ztracených dat významně blížit 1/N a nebo ta hodnota může být i výrazně vyšší?

Předem děkuji za odpovědi

Odpovědi

[Aleš Kapica]

Přijdeš o ně. A pokud chceš vědět proč, tak místo dotazu na abclinuxu zadej dotaz do vyhledávače.

[Martin23]

Aleši, děkuji za odpověď. Samozřejmě že jsem se odpověď nejdřív pokusil vyhledat (této činnosti jsem věnoval minimálně hodinu a našel jsem pouze nějakou drobnou zmíňku v archivu mailové konference, která odporuje tvému tvrzení). Byl by jsi tak hodný a odkázal mě na patřičné zdroje a nebo ten správný dotaz do vyhledávače?

[Aleš Kapica]

Klíčová slova - "btrfs multi device single degrade", hned první link a pro single jasné upozornění - metadata mirrored, data not mirrored and not striped a případně viz Maxův odkaz na diskuzi k již jednou položenému podobnému dotazu.

[Martin23]

Aleši, děkuji za hodnotnou radu. Zrovna pro tyto klíčová slova mám první tři odkazy navštívené a žádný z nich rozhodně neobsahuje odpověď na moji otázku. Než začneš dělat z lidí hlupáky, zkus si prosím přečíst na co přesně se ptají. Děkuji

[Aleš Kapica]

Promiň, ale v tom upozornění máš jasně danou i odpověď. Jsou-li metadata zrcadlená, tak je snad jasné, že se přes jejich záložní kopii ke zbylým datům dostaneš. Ovšem to zda datové extenty budou rozesety nebo ne záleží na mnoha faktorech. A podle zákona schválnosti je potřebný soubor obvykle zrovna tam, odkud se už vydolovat nedá. Je to zkrátka raid0. Říká se chytrému napověz, hloupého trkni. Předpokládal jsem, že se nad tím zamyslíš sám.

[Martin23]

Díky za odpověď, působí to samozřejmě logicky, ale nikde jsem nenašel natvrdo napsanou zmíňku o tom, že takto to funguje, takhle je to designované a takhle je to testované. Třeba to s tím rozesetím extentů mě též zajímalo, jestli Btrfs plní disky postupně a podobně. Celkově vidím právě v možnosti mít jeden FS přes více disků killer feature Btrfs, protože ve spoustě oblastí se může hodit levně ukládat velké objemy dat a zároveň mít FS, který se dokáže vzpamatovat z výpadku jednoho disku a co víc, je na něj připravený a očekává ho (takže se snaží data co k sobě nějak logicky patří ukládat na jeden disk a v případě výpadku dokáže nějakým rozumným způsobem označit mrtvé soubory/adresáře). Bohužel žádné povídání na toto téma jsem nenašel.

Zajímalo by mě, co si o tom myslíš třeba ty Aleši? Jak moc dobrý nápad je ukládat data místo na několika oddělených FS (každý na svém disku) na jeden Btrfs rozprostřený po více discích? Jistěže Btrfs bude více rizikový, ale mě zajímá jak moc je to riziko velké?

[Aleš Kapica]

Špatně si hledal tohle jsem třeba sepsal já. I když je pravda, že hodně věcí mám dosud ještě pouze ve formě poznámek. Ale od toho to je wiki. Doplňuji a aktualizuji věci podle toho jak se k tomu dostanu. Na tvůj dotaz už jsem odpovědel kousek níže.

[Max]

Ahoj, již se tady objevil jeden člověk, který něco podobného provozoval, jeden disk odešel a doloval ze zbytku data a celkem úspěšně, viz tento thread : Multidisk btrfs - oprava
Zdar Max

[Martin23]

Díky za odpověď, to vypadá poměrně optimisticky (tak nějak jsem to předpokládal). Existuje k tomuto více zdrojů?

[Max]

Netuším, nikdy jsem to neřešil, ale předpokládám, že je minimálně dokumentace k btrfs : btrfs.wiki.kernel.org. Pokud hledáš nějaký example nějakého pádu a řešení, tak nevím, v dokuemntaci je jen Restore, Multiple Device Support + seznam všech nástrojů btrfs complete list.
Taktéž mají na webu stránku se známými problémy : Gotchas a samozřejmě FAQ.
Pokud jsi to už prošel, tak možná ještě zkusil googlit spojení btrfs ve spojení s pádem. Něco jako btrfs crash, btrfs snapshots problem, btrfs problem atd. atd. Třeba pak narazíš na nějaký zajímavý problém a případně i řešení.
Zdar Max

[Martin23]

Děkuji za odpověď, něco jsem už prošel, na zbytek mrknu. Díky . Představoval jsem si, že někde bude tento scénář popsaný a bude u něj nějak zhodnocená míra rizik takového řešení. Něco ve smyslu "je to hezká věc, ale bylo to navrhované pouze pro případy kdy je HW bezpečnost řešena na nižší vrstvě, takže na pouhých discích to nedělejte, FS se teoreticky umí vzpamatovat, ale nespoléhejte na to" a nebo "počítáme i s použitím přímo na discích, systém se dokáže z pádu vzpamatovat a je na to navržený".

[Heron]

Doporučuju si to sám odzkoušet. (Nejlépe ve virtuálce, v KVM jsem testoval i odpojení disku za chodu apod, ale pouze pro btrfs raid1). Ono lidí, kteří používají multidevice je docela málo (přitom je to, alespoň pro mě, jedna z killer featur), lidí, kteří budou používat multidevice v single ještě méně a z tohoto mála bude ještě méně, kteří řešili nějaký výpadek disku (a ještě se s tím pochlubili na netu).

Já provozuju multidevice několik let, ale pouze v RAID1 módu a za tu dobu mi odešel pouze jeden disk a vše proběhlo v pohodě, takže tolik např. moje zkušenosti z reálného provozu (ve virtuálce jsem zkoušel lecos).

[Aleš Kapica]

Btrfs multidevice má smysl aktuálně pouze v raid1 a to z toho důvodu že do Btrfs v raid56 neumí grub2 nakouknout. To za prvé. Používat Btrfs multidevice v režimu single má smysl pouze tehdy, pokud to jsou raidy s redundancí - lvm, hw, nebo md. To je fuk. A za třetí - Btrfs v režimu raid56 je mnohem háklivejší na spolehlivost blokového zařízení. To co md raid56 zkousne, Btrfs nemusí - vlastní reálná zkušenost se staršími sas disky.

[Martin23]

Ano, přesně o to mi jde - je možnost mít data v single mode pouze pro RAIDy s redundancí a to chci udělat já je blbost a ohnutí nějaké technologie pro něco pro co nebyla stvořena a nebo ne?

[Aleš Kapica]

Tak nějak.

Výhoda Btrfs v raid módu je, že pracuje rovnou s uloženými daty. Jsou-li raidy pod ním, tak se může vloudit chybka, aniž bys na to přišel. Proto doporučuji mít pod ním minimálně raid6. U této kombinace mám odzkoušeno, že snese i velmi hrubé zacházení, aniž bys přišel o data. Ale aktuálně preferuji - pro nově instalované stroje - Btrfs v raid1. Filosofie je prostá - situace, kdy oba disky odejdou najednou je velmi málo pravděpodobná a je to ekonomicky únosnější řešení.

[Martin23]

Děkuji za odpověď, na virtuálku se chystám. Nicméně, rozepsal by jsi o svých zkušenostech z virtuálky? Děkuji

[Heron]

Já mám smůlu, že mě se problémy s BTRFS nějak vyhýbají. Když jsem před 4 lety napsal dva články, tak mi psali lidé, že jim to dělá a to a ono a jestli nevím. Nevěděl jsem, ty chyby jsem nikdy neviděl.

Chystám se napsat článek zkušenosti s BTRFS po pěti letech, ale více méně z pohledu výhod, jaké mi to přineslo (Aleš mi trochu vzal vítr z plachet jeho wikinou, on v tom nasazení šel mnohem dál).

Vlastně, pokud to mám shrnout, tak jediný WTF moment jsem zažil při výpadku disku. Zatímco v normálním stavu si můžete disky přidávat a odebírat (add, delete) jako by se nechumelilo (pochopitelně s ohledem na velikost místa a počet zařízení pro daný typ raidu), tak v případě výpadku disku je třeba ten fs odpojit, připojit jako degraded, potom provést delete missing a opět přimountovat. A to za stavu, kdy ten systém za běhu ví, že nějaké device je missing. Tohle je trochu škoda, protože raid je od toho, aby tohle proběhlo bez výpadku. Takže s tímto je třeba počítat.

Ve virtuálce jsem se snažil dosáhnout některých chybových stavů, zejména co se stane, když upadne disk (nechtěl jsem na fyzickém stroji vytrhávat sata kabel, tak jsem to simuloval přes detach-disk). Chovalo se to podle očekávání, prostě fs byl dostupný dál. Co víc k tomu psát?

Single mod jsem nezkoušel, přiznám se, že to mě ani nenapadlo. (Obvykle simuluji věci, které chci potom dělat v praxi na produkční mašině a které se mohou reálně vyskytnout. Testovat něco, co bych nikdy nenasadil pro mě nemá smysl.)

[Aleš Kapica]

Já s tím reálné zkušenosti mám. Díky tomu, že mi kolega zapůjčil jeden rack se starým hardware na testovací sedminodový cluster. Jak jsem napsal - v raid1 naprosto bez problémů. Z raid56 nelze zatím bootovat a ještě je hodně choulostivý na blbnoucí HW - na druhou stranu bezpečně odhalí disky zralé do šrotu.

[mimi.vx]

See http://marc.merlins.org/linux/talks/2015/Btrfs-LCA2015/Btrfs.pdf

[Aleš Kapica]

Pěkné. Chybí tomu pouze pár slidů, které by napsaly něco o kvótách. Ale já se taky ještě nedokopal k tomu, abych to z poznámek pastnul do wiki, přesto že to mám už víc jak rok rozepsané.