Dotaz: Jak přinutit BTRFS RAID1 aby se choval jako RAID1?

[Michal]

RAID1 se má tak nějak z definice i ze zvyku chovat tak, že po smrti jednoho disku vše funguje dál jako by se nechumelilo jen případně management soft odešle adminovi mail, že je třeba nějaká akce. BTRFS RAID1 v takovém přípdadě nejdříve strašlivou smrtí umřou softy a následně se do divného stavu dostane jádro a po resetu stroj odmítne bootnout. Cokoliv řešit lze jen při bootu z flešky a firma zatím stojí. Když je admin na dovolené tak mu ani KVM nepomůže. A když nemá náhradní disk po ruce, tak musí udělat obskurní workaround.

Dokážu si představit, že existuje nějaká skupinka lidi při nějakém velmi specifickém nasazení, kdy takové chování vyhovuje. Mě ale ne... proto otázka viz %subj%.

Proč tomu vlastně říkají RAID1, když to žádný RAID1 není ale nějaký paraRAID1 nebo pseudoRAID1 nebo wannabeRAID1?

Odpovědi

[NN]

Co na rika tvuj admin?

[k3dAR]

nejsem uzivatel btrfs, takze to nesleduju a neznam z praxe, pouze si vybavuju nekolik diskuzi o tom samem co se ptas a v posledni nekdo psal ze to snad uz lze nejak nastavit aby i btrfs s raid1 na 2 disky pri vypadku 1 stale normalne fungoval, zda je to pravda a je to dostupne v stable a od jake verze netusim, snad se ukaze nekdo kdo je v obraze...

ad KVM(over-IP):
- muzes mit ve stroji tu USBFlash strcenou trvale
- muzes do GRUB(2) pridat user polozku pro start live z ISO (umistenem mimo ten btrfs raid1, treba v boot nebo EFI oddilu, nebo mit primo pripraven recovery oddil)
- ve stroji muzes mit pripojen spare/treti/nepouzitej disk a v pripade problemu pres emergency (ci grub-iso, usblive) ho v raid1 nahradit

btw: pokud mas vice nez 2 disky btrfs raid1 neni komplet pres vsechny, ale datove bloky vzdy jen na 2 z nich, i to se tusim nedavno zmenilo a lze nastavit (nebo pri vytvareni urcit?) aby vsechno bylo pres vsechny, tedy regulerni raid1/mirror

[vandrovnik]

Kdyby měl třetí disk, tak by asi mohl být v tom btrfs připojen trvale, takže když jeden z disků umře, mělo by si to pak samo (?) nebo po drobném postrčení adminem data přelít tak, aby každý blok byl zase na dvou zařízeních.

[Aleš Kapica]

Ty máš křišťálovou kouli? Tazatel nic konkrétního nepsal, tudíž jsem to vyhodnotil jako jeden z mnoha bezcenných výkřiků na které nemá vůbec smysl reagovat.

[vandrovnik]

Nepotřebuju křišťálovou kouli na to, abych v příspěvku, na který reaguji, četl "btw: pokud mas vice nez 2 disky"...

[Aleš Kapica]

k3dAR nebyl tazatel.

[trubicoid2]

aby na 3 a 4 discích měl každý blok 3 a 4 kopie je potřeba nový režim RAID1C3 a RAID1C4, který je dostupný až od jádra 5.5

[k3dAR]

dik, to je ono, nepamatoval sem si presne :) btw: je i rezim RAID1C7 pro 7disk jako mam s mdadm ?

[trubicoid2]

myslím, že ne, ten RAID1C3 se dá k RAID6 na metadata, aby to vydrželo 2 zdechlé disky

[Filip Jirsák]

Z definice těžko, protože RAID1 znamená, že jsou data minimálně na dvou discích. Když vám ze dvou disků jeden umře, máte data na jednom disku a to není RAID1.

V případě btrfs se stroj neodmítne nabootovat, pouze musí správce vědomě disk připojit v degradovaném režimu a problém vyřešit – chtěl RAID1, teď RAID1 nemá, takže musí říct, co s tím.

RAID1 v podání btrfs neznamená, že jsou data na každém disku, ale že jsou na dvou discích. Takže řešení je jednoduché – mít v poli tolik disků, aby při výpadku jednoho disku dál bylo možné zachovat pravidlo, že data jsou na dvou discích. Btrfs zkopíruje bloky, které byly na vadném disku, z kopie na zbývající volné místo na ostatních discích, a nic se neděje – jediný problém, který zaznamenáte, je ten, že klesne volné místo na poli. Například když budete mít 5 disků po 2 TB, budete na tom mít btrfs RAID1, bude mít kapacitu 5 TB. Pokud ponecháte kapacitu alespoň 2 TB volnou, dokáže btrfs i po výpadku jednoho disku zajistit, aby dál byly splněné podmínky pro RAID1 a nic se neděje. Samozřejmě to znamená mít v poli co nejvíc disků, aby podíl jednoho (největšího) disku na celkové kapacitě pole byl co nejmenší. Ale to je přesně nasazení, kam btrfs míří – spousta „malých“ disků klidně o různé kapacitě.

Pokud chcete RAID1 ze dvou disků, je otázka, co vám přinese řešit to pomocí btrfs. Myslím, že stejnou službu jako btrfs vám v takovém případě udělá i mdadm a teprve nad ním můžete mít btrfs.

[lertimir]

Rozdíl bude v tom, že když disk nepadne jako celek ale začne mít problémy se čtením tak se btrfs to dozví a bude opravovat a reportovat. Na mdadm se to systém dozví jen, když se přečte špatný sektor a pošle se dál. (ale mám také btrfs na mdadm RAID 5 a raid 10 ale tak dělám kontrolu pole týdně.)

[sigma]

Pokud chcete RAID1 ze dvou disků, je otázka, co vám přinese řešit to pomocí btrfs. Myslím, že stejnou službu jako btrfs vám v takovém případě udělá i mdadm a teprve nad ním můžete mít btrfs.

Třeba možnost řešení některých případů silent-data-corruption? Když mi jeden disk vrátí blok jako OK, ale btrfs nesouhlasí checksum, nemůže v případě mdadm dělat nic. V případě RAID1 na úrovni btrfs může zkusit týž blok přečíst z druhého disku a opravit ho na prvním. Takový ZFS to umí, a je to jeden z důvodů proč pod něj nedávat jiný RAID (mdadm, HW).

[Filip Jirsák]

Asi jsem měl dát trochu větší důraz na to vám. Nejsem si jist, jestli tyhle fíčury budou k něčemu člověku, který si neporadí se situací, když btrfs kvůli havárii disku není schopen dodržet požadované parametry pole, a považuje za normální provozovat „RAID1“ nad jedním diskem. Myslím, že btrfs je systém, který dává adminovi do rukou silné nástroje, ale s tím i odpovídající zodpovědnost. Pokud chce někdo jen nainstalovat a zapomenout, není podle mne btrfs dobrá volba.

[Josef Kufner]

Problém btrfs je, že se nechová moc hezky, když se věci porouchají. Provozovat RAID1 nad jedním diskem by neměl být problém, ale btrfs by mělo velmi nahlas křičet, že je průser. Místo toho vidím v dokumentaci něco o prvním degradovaném mountu a že pak už to bude navždy jen read-only.

[Filip Jirsák]

To je normální u nových věcí, které vám dávají nové možnosti. Vždy se nejprve soustředí vývoj na nové vlastnosti, a teprve pak se v průběhu času dodělává to, aby se to chovalo hezky. I podle zkušeností z provozu. První letadla se také ovládala těžko a když se porouchala, bylo to jen na pilotovi – dneska se ovládají joystickem a poruchy diagnostikují sama. To samé samotný Linux – zpočátku to bylo jen pro nadšence, dneska má každý druhý člověk Linux v mobilu a nemá s tím nejmenší problém.

[Josef Kufner]

Takovou odpověď bych kdysi dávno bral, ale v březnu to bude 11 let od začlenění do jádra. Je sice jedním z těch mladších, ale i tak už je v provozu dost dlouho.

[Filip Jirsák]

Chápu, na druhou stranu vlastnosti se do btrfs přidávají postupně a dodnes vlastně není implementováno vše, co mělo btrfs od začátku mít. Prostě se od začátku vyvíjí veřejně přímo v jádře. Jasně, mohl by být vývoj rychlejší. Na druhou stranu, jak může někdo nasadit btrfs a nevědět o tomhle chování RAID 1 na dvou discích? Vždyť to někdo zmiňuje snad v každé diskusi, kde se vyskytne btrfs.

[Josef Kufner]

Nejde o to, že btrfs je postavené trochu jinak a chová se trochu jinak. Jde o to, že mnoha krajních případech není to chování moc rozumné a ani zdokumentované. Různé operace zkolabují na nedostatku místa ať už na disku či v paměti, nebo šíleně paměť žerou i když není. Dokud to funguje, je to fajn, ale jinak mi přijde, že to je taková nedotažená splácanina postavená na pár dobrých konceptech.

[Tomas]

Nevim, zda to lze pokladat za definici ale na wiki https://en.wikipedia.org/wiki/Standard_RAID_levels#RAID_1 se pise "RAID 1 consists of an exact copy (or mirror) of a set of data on two or more disks; a classic RAID 1 mirrored pair contains two disks. .... The array will continue to operate so long as at least one member drive is operational."

Kazdopadne se RAID1 vzdycky tak choval od hw radicu pres radoby hw radice az po sw raidy (vcetne md v linuxu). Dokonce i ZFS se tak chova. Neni tedy divu, ze to lidi tak nejak ocekavaji i od BTRFS.

[Filip Jirsák]

Podle mne definice je právě to „RAID 1 consists of an exact copy (or mirror) of a set of data on two or more disks“. To, že pole pokračuje v provozu dál, už je popis nějakého chování, které je ve skutečnosti v rozporu s tou definicí.

Jinak btrfs RAID 1 je opravdu něco trochu jiného, než klasický RAID 1, protože udržuje alespoň dvě kopie dat, nezávisle na počtu disků. I jeho účelem je poradit si s hromadou různých „malých“ disků, kde vám právě klasický RAID 1 nebude k ničemu. btrfs opravdu v dnešní době není běžný systém, který by bylo vhodné použít místo ext4, nainstalovat a zapomenout. Je pravděpodobné, že v budoucnosti se bude vylepšovat i ta uživatelská stránka, ale popravdě, když dnes pořád není jisté, jestli se můžu spolehnout na RAID 5 a 6 v btrfs, jsou tam důležitější věci pro vývoj, než aby se to chovalo hezky ke správci, který nečte dokumentaci a používá btrfs k něčemu, co není primární zaměření btrfs. Pokud někdo chce provozovat RAID 1 na dvou discích, který se bude chovat tradičně a nebude po něm chtít žádné znalosti, nepřipadá mi btrfs jako nejlepší volba.

[trekker.dk]

To, že pole pokračuje v provozu dál, už je popis nějakého chování, které je ve skutečnosti v rozporu s tou definicí.

Jo, ale za předpokladu, že si tu definici nejdřív vhodně roztrhnete a nepohodlný kus odstraníte.

Jinak jako vždycky melete ptákoviny. Mít možnost to jednou připojit v degradovaném režimu a pak už to bude read-only, znamenalo dodatečnou práci na straně vývojářů a tedy nic, co by tam bylo pro další vývoj v rámci vylepšování uživatelské stránky. Další vývoj už tam byl, někdo přidal čítač/flag a dodatečné chování. Chování, které naprosto jednoznačně popírá účel RAIDu: umožnit nepřerušené poskytování služby v případě havárie hardware.

[Filip Jirsák]

Definice je, že souborový systém udržuje data na dvou zařízeních (což je rozdíl btrfs RAID1 oproti obecnému RAID 1 – tam je to tak, že má být kopie dat na každém zařízení). Vy byste asi chtěl nějakou definici ve smyslu „data jsou na dvou zařízeních, s výjimkou případů, kdy to tak není“ – jenže takové zařízení by bylo celkem k ničemu. Btrfs se přesně téhle definice drží, snaží se data udržet na dvou discích. Jenže když má jenom jeden disk, nebo kapacita disků neumožňuje mít tam vše dvakrát, tahle pravidla splnit nedokáže. Pak to logicky hodí na správce – „chtěl jsi, aby data byla aspoň na dvou zařízeních, ale nedal jsi mi k tomu dost disků – tak to nějak vyřeš, buď mi přidej disky, nebo sniž požadavky na uložení“. Správce, který ví, co dělá, to vyřeší, a jede se dál. To, že btrfs umožní připojit v degradovaném režimu souborový systém jenom jednou, je opravdu naprogramováno záměrně, a je to právě pojistka proti tomu, aby to někdo takhle připojoval trvale. Vzhledem k tomu, jak často si lidé na tu pojistku stěžují, odhadli to vývojáři dobře – najde se spousta lidí, kteří chtějí provozovat RAID 1 s jedním diskem.

Chování, které naprosto jednoznačně popírá účel RAIDu: umožnit nepřerušené poskytování služby v případě havárie hardware.

Jenže to je nepochopení RAIDu (bohužel časté nepochopení). RAID neslouží k nepřerušenému poskytování služby v případě havárie, RAID slouží k předcházení škodám způsobených havárií – tedy k minimalizaci ztrát dat a ke zkrácení doby výpadku. Když vám z dvoudiskového RAID 1 vypadne jeden disk, máte dvě možnosti – buď pokračovat dál s jedním diskem a modlit se, aby nevypadl ani ten, a nebo systém zastavit, zreplikovat data na druhý disk a spustit ho znovu v režimu RAID 1. Oba případy jsou legitimní, a správce musí vědět, která varianta platí. Někdy je totiž opravdu mnohem levnější na chvíli zastavit systém a opravit ho, než riskovat ztrátu dat. Třeba banka radši bude chvíli sypat požadavky na příkazy k úhradě do fronty a neprovádět je, než aby je dál potvrzovala a zapisovala do systému, který může selhat – a banka pak bude mít den starou zálohu a k tomu hromadu potvrzených transakcí, o kterých nic neví.

[jj]

Navrhuji tohle duplikovat bud do FAQ Disky nebo do Hardware Ukladani dat RAID jako odkaz.

[j]

A jirsak opet mele a mele ... ciry hovadiny ... jisaku, videls ty vzivote nejakej stroj? Disk se naprosto bezne vymenuje za chodu, bez jakyhokoli vypadku systemu.

Ale jo vazne, podle odborny rady mistra jirsaka zejtra to 50ti diskovy pole vypnu, zamestnancum reknu ze maji jit domu, zakazniky poslu doprdele, to abych moh vymenit ten disk, co mi lezi na vratnici ...

[Filip Jirsák]

Škoda, že jste si můj komentář nepřečetl dřív, než jste na něj reagoval.

[Heron]

Disk se naprosto bezne vymenuje za chodu, bez jakyhokoli vypadku systemu.

Jenže tohle není jediný způsob, jak docílit bezvýpadkovosti. Vlastně je to ten nejhorší způsob. Komu nikdy nekleklo pole nebo řadič při výměně disku, ať hodí ... zálohovací páskou.

A tenhle zastaralý způsob přemýšlení nad storage mě vlastně na celé věci vadí nejvíc. Sám používám BTRFS od roku 2010, v 2011 jsem napsal články a od té doby to jenom používám k maximální spokojenosti. A v roce 2020 vyjde článek, který se na btrfs dívá optikou starých storage někdy z 80 let.

Prostě storage se nedělá tak, že to závisí na jednom stroji. U normálně navrženého storage (a nejen to, libovolného systému) nelze spoléhat na stabilitu jednoho stroje, ale je potřeba to mít distribuované. A potom je úplně jedno, jestli k výměně disku ten FS musím odmountovat nebo ne. Data pro klienty budou dostupná.

A pokud změním myšlení tímto směrem, tak se současně odlehčí nároky na ten daný FS. Je fakt úplně jedno, jak se to zachová pouze s jedním diskem. Data jsou jinde. Na místo takových kravin ten fs může řešit podstatnější věci, jako atomické snapshoty, nezávislé subvolume apod. Ne, místo toho se hromada lidí zasekla v době někdy před 20 lety a požadují nejdřív funkční RAID podle jejich zkreslených představ, včetně nesmyslných R5/6 a až potom si možná přečtou něco navíc. Kdy ty vyšší funkcionality začnou používat fakt nevím.

Ale což, tohle myšlení se projevuje i v jiných oblastech. Dneska každý může mít 10 emailových účtů, ale jsou lidé, kteří si hýčkají jen ten jeden a rozčilují se při sebemenším výpadku.

Takže jo, klidně si stavte jedno 50 diskový pole, které když z libovolných důvodů vypadne, tak musíte poslat zaměstnance domů, protože to přece nejde vyřešit nijak jinak...

[bigBRAMBOR]

To, že pole pokračuje v provozu dál, už je popis nějakého chování, které je ve skutečnosti v rozporu s tou definicí.

stejne tak je v rozporu s definicí ze si btrfs zacne hrnout data na jiný disk, aby zachovalo pravidlo o tom ze data ma na dvou discích. Takze chvili je RAID1, pak neni, pak zase je.

to bychom se fakt uz mohli rejpat v titernostech. BTRFS RAID1 se proste chová po svém, na to uz spousta lidi dojela, nečetla a přesto rozmrazila, protože kdo je zvyklej na MDADM nebo HW RAIDY, očekává chování jiné.

[Heron]

No upřímně řečeno, celý ten původní dotaz má všechny znaky trollingu. Nasadí do ostrého provozu něco, co si ani nevyzkouší ve všech běžných případech (jako on je tady někdo, kdo nasadí nějaký storage a nevyzkouší si ani výměnu disku po výpadku?), po adminovi na dovolené chtějí, aby něco řešil (takže dovolenou vlastně nemá) a stěžují si, že jim stojí firma. Za mě trolling. Jestli ne, tak jim přeju hodně štěstí...

[Filip Jirsák]

RAID definuje, o co se má řadič (nebo souborový systém) snažit, ne jaký je stav v každém okamžiku. Jinak by neexistoval žádný RAID, protože byste vždy mohl argumentovat tím, že když vypadne dost disků, přestane to splňovat příslušné požadavky.

To, že systém nesplňuje pravidla v okamžiku mountu souborového systému, mi připadá jako dost vážná závada, a je pro mne samozřejmé, že to jen tak neprojde a správce to musí řešit. Samozřejmě by bylo komfortnější, kdyby to nemusel správce řešit ručně v danou chvíli, ale mohl způsob řešení deklarovat předem (např. by rovnou řekl, ať se svazek přepne do nezrcadleného režimu, nebo ať se přepne do read-only režimu apod.). Za nedostatek považuju to, že btrfs a ekosystém okolo ještě tohle neumí řešit a vyžaduje ruční zásah, ne to, že btrfs tiše na pozadí nezvolí tu nejméně bezpečnou variantu.

[j]

Az na to, ze to ve skutecnosti neumi resit akorat Jirsak (coz je vec zcela bezna, anzto jirsak neumi cist, tak jak by moh neco umet), tazatel a nekolik dalsich tupcu ...

Bohate totiz staci do parametru pri bootu pridat ... degraded ... a voiala, pozadovana funcionalita (tzn bez kecu RW i v pripade vypadku jednoho ze dvou disku) je zajistena. A ne, nijak to neovlivnuje funkci pole, rika to jen a prave tohle. A pochopitelne to taky znamena, ze takovy pole muze takhle bez povsimnuti "fungovat" i par mesicu, nez chcipne druhy disk.

Jinak receno, kvuli ochrane tupcu byla defakto jen otocena logika = bydefault se (!!!PO REMOUNTU/restartu!!!) odmita zapis na degradovane pole, protoze to neni bezpecne a predpoklada se, ze by s tim dotycny mel neco delat. Dokonce se jaksi pomerne logicky predpoklada, ze kdyz uz jde admin neco restartovat, tak vi co a proc, a taky ze zkouknul logy a tudiz !!!VI!!! ze ma mrtvej disk.

[Filip Jirsák]

Uvedl jsem dvě možnosti, jak se s dvoudiskovým RAID 1 bez jednoho dá zacházet, a geniální j to zvládne ošetřit jediným parametrem jádra. Prostě použijete parametr degraded, a jádro už si samo domyslí, jestli tím myslíte RW nebo RO.

[Tomas]

Resi se tady veci okolo, na ktere se tazatel neptal ale odpoved tu neni zadna... i kdyz se da asi z prubehu diskuze vytusit. Takze to shrnu a odpovim abychom to meli z hlavy.

1) BTRFS RAID1 nesplnuje hlavni znaky ktere od RAID1 ocekavame a cim se RAID1 charakterizuje a jak se jeho implementace v praxi bezne chovaji. Ty charakteristiky jsou podle 2 hlavni - a) jednotlive disky pole jsou kopiemi (pripadne az na hlavicku) b) pole funguje pokud v nem je alespon jeden funkcni disk. Pole je v takove situaci degradovane a negarantuje redundanci ale to nevadi protoze to NENI hlavni znak RAID1 ze za kazdych okolnosti garantuje redundanci. Pokud si nekdo neco takoveho mysli (jeden takovy tady v diskuzi je) tak si to tam domyslel, nic takoveho tam neni. Ja tohle jsem schopen dolozit jednak mnoha priklady realnych RAIDu a take citacemi.

2) Konecne odpoved an otazku. Prekonfigurovat BTRFS RAID1 aby se chovalo jako RAID1 nelze. Pokud toto chovani nevyhovuje - je treba zvolit jine reseni.

3) Proc to nazvali RAID1 i kdyz to neni RAID1? Protoze lidi kolem free software jsou zpravidla velmi chytri lide (ve smyslu IQ) ale EQ nic moc. Proto maji problemy s nazvy, UI, UX, defaultnimi hodnotami v konfiguracich aby veci i bez RTFM tak nejak fungovaly atd. pokud nad nimi nestoji nekdo s korporatnim bicem a takove zbytecnosti nevynuti Je mozne, ze nad tim proste nikdo ani vterinu nepremyslel a proste to tam jen tak placnul. Mimochodem MS ma podobny system (umi redundanci na zarizenich, nemusi mit stejnou velikost proste to jen garantuje, ze tam jsou 2 kopie na 2 discich (nebo vic dle nastaveni)) jmenuje se storage spaces. Svete div se- RAID1 tomu rezimu nerikaji.

[Heron]

Možná mám nízké EQ, ale já jsem od první chvíle po seznámení se s principy a možnostmi btrfs v tom roce 2010 ani na sekundu nepředpokládal, že by jejich označení raid-1 znamenalo zrcadlení přes všechna zařízení. Jednoduše proto, že by to odporovalo některým dalším vlastnostem. Od počátku mi bylo naopak jasné (a i na těch nejjednodušších testech, které admin může provést je to hned jasné), že to znamená dvě kopie bloků na dvě různá zařízení. To jen tak na okraj.

Podstatnější je ale podle mě to, pokud někdo (ze strany uživatele nebo admina) slepě vezme nějaký pojem, o kterém si myslí že ví co znamená, a sestaví systém na základě těchto domnělých vlastností. Dříve nebo později vždy narazí. Takže vzít storage, nezjistit si o něm vůbec nic a jen předpokládat, že ty pojmy jsou stejné jako někde jinde je nejrychlejší cesta ke katastrofě.

Btw, když už se tady hádáte o pojmy, HW řadič od Arecy umí udělat RAID10 nad lichým počtem disků. "Klasický učebnicový" RAID-10 znamená mirror (dva disky) a nad těmi mirrory stripe set. Jednoznačně sudý počet disků (pokud tedy někdo nevezme obecnou variantu, že v mirroru může být více než dva disky). Areca podporuje (alepoň se nám to podařilo) R10 nad lichým počet disků a ty kopie prostě distribuuje napříč disky. Výkon to má slušný, ochranu proti výpadkům i více disků (pokud se to zrovna netrefí do stejné nohy), ale taky bych se uměl hádat, jestli je to raid10 nebo ne.

[tomas]

V zasade souhlasim. Jen bych dodal, ze snaha by mela byt na obou stranach. Minimalnim projevem snahy na strane tvurce softu je nemast uzivatele. Jelikoz to neni zdaleka prvni pripad, ktery vidim, ze se na tohle nekdo nachytal tak to vidim jako problem. Pritom to stacilo projevit trochu empatie, predvidavosti ze na druhe strane bude chybujici zaneprazdneny clovek a naznacit mu, ze je neco jinak... treba nazvem BTRFS REDUNDANCY1 nebo tak neco. Nic tezkeho.

[Josef Kufner]

Potíž je, že RAID1 prostě zní líp a přitáhne to lidi a tím i podporu a prostředky na vývoj.

[Heron]

Tohle je v man mkfs.btrfs (starej debian 9 - old stable). Názornější už to snad být nemůže.

RAID
       a block group profile type that utilizes RAID-like features on multiple devices: striping, mirroring, parity

PROFILES
       There are the following block group types available:



       ┌────────┬────────────────────────────────────┬────────────────────┐
       │        │                                    │                    │
       │Profile │ Redundancy                         │  Min/max devices   │
       │        ├──────────────┬────────┬────────────┤                    │
       │        │              │        │            │                    │
       │        │    Copies    │ Parity │  Striping  │                    │
       ├────────┼──────────────┼────────┼────────────┼────────────────────┤
       │        │              │        │            │                    │
       │single  │      1       │        │            │       1/any        │
       ├────────┼──────────────┼────────┼────────────┼────────────────────┤
       │        │              │        │            │                    │
       │  DUP   │ 2 / 1 device │        │            │ 1/any (see note 1) │
       ├────────┼──────────────┼────────┼────────────┼────────────────────┤
       │        │              │        │            │                    │
       │ RAID0  │              │        │   1 to N   │       2/any        │
       ├────────┼──────────────┼────────┼────────────┼────────────────────┤
       │        │              │        │            │                    │
       │ RAID1  │      2       │        │            │       2/any        │
       ├────────┼──────────────┼────────┼────────────┼────────────────────┤
       │        │              │        │            │                    │
       │RAID10  │      2       │        │   1 to N   │       4/any        │
       ├────────┼──────────────┼────────┼────────────┼────────────────────┤
       │        │              │        │            │                    │
       │ RAID5  │      1       │   1    │ 2 to N - 1 │ 2/any (see note 2) │
       ├────────┼──────────────┼────────┼────────────┼────────────────────┤
       │        │              │        │            │                    │
       │ RAID6  │      1       │   2    │ 3 to N - 2 │ 3/any (see note 3) │
       └────────┴──────────────┴────────┴────────────┴────────────────────┘

Jelikoz to neni zdaleka prvni pripad, ktery vidim, ze se na tohle nekdo nachytal tak to vidim jako problem. Pritom to stacilo projevit trochu empatie, predvidavosti ze na druhe strane bude chybujici zaneprazdneny clovek a naznacit mu, ze je neco jinak... treba nazvem BTRFS REDUNDANCY1 nebo tak neco. Nic tezkeho.

Chápu jak to myslíš, ale nesouhlasím se závěrem. Pokud si někdo při nasazení nové technologie nepřečte ani manuálovou stránku, tak mu ani jiné pojmenování příliš nepomůže, jen zkrátka narazí někde jinde. Obvykle o něco později, kdy bude ještě složitější to vyřešit. Zkrátka každá profese vyžaduje pokoru v určitých místech a k běžné práci admina patří i to, že čte dokumentaci a zkouší si různé scénáře provozu dané technologie. To je alespoň můj pohled na svět a moje zkušenost, ještě jsem nenarazil na žádnou technologii, který by neměla nějaké vedlejší efekty, které by mi bez čtení dokumentace / testů byly dopředu zřejmé.

[trekker.dk]

Nesouhlasit můžete, ale je to chybné. Je to o principu fungování řeči, v jazyce má slovo (pojem) daný význam nebo skupinu významů. Pokud jen tak z plezíru zavedete význam nový, všechna nedorozumění jdou na vaše triko. (I když v případě open source už ne odpovědnost.) Pár dní zpátky jsme tady vedli debatu o Cephu, který v tomhle ohledu dělá v podstatě totéž co Btrfs - ti ovšem tenhle režim "raid-1" nenazvali a ejhle, téměř nulové rizko zmatků a nedorozumění.

Je to, jako kdybych tady řekl, že Heron je kreten. Vy a ostatní čtenáři byste se oprávněně zlobili, že tomu tak není, a taky bych asi neobstál s tím, že jste si měli přečíst mojí manuálovou stránku, kde je jasně napsáno, že to znamená KREativní a Totálně Energický Nadšenec. To slovo prostě má nějaký význam a nemůžu od všech ostatních očekávat (nebo dokonce vyžadovat), aby se přizpůsobili mně a chápali ho ve významu, v jakém chci já.

[Filip Jirsák]

Tak si to pojďme s těmi významy slov předvést na konkrétním příkladu. Například pojem RAID. Je to zkratka s anglického „Redundant Array of Independent Disks“. Účelem RAIDu je minimalizovat dopady havárie disku, v podstatě je to takové urychlení obnovy po havárii disku – s použitím RAIDu by to mělo být rychlejší, než když budete data obnovovat ze zálohy, případně zachráníte víc dat, než kdybyste obnovoval ze zálohy a přišel o data, která vznikla až po poslední záloze. Některé kombinace konkrétního typu RAIDu a konkrétní havárie vedou třeba i k tomu, že dopady havárie nebudou žádné.

Vy jste ale napsal, že má RAID sloužit k nepřerušenému běhu služby – což je sice častý, nicméně mylný výklad. No a co teď s tím, když spousta lidí ten pojem používá špatně? Podobné je to s RAID 1 u btrfs. Spousta lidí si pod RAID 1 představuje to, že data jsou alespoň na dvou zařízeních – jak ten pojem používá i btrfs. Jenže ve skutečnosti to znamená, že data jsou na každém zařízení – takže když máte v RAID 1 4 disky, data mají být zapsaná 4×, na každém disku jednou. A opět, co s tím? Lidé to často používají v jednom významu, btrfs to tak používá také, ale správný význam je jiný.

Takže i kdyby autoři btrfs ten režim nazvali jinak, je otázka, zda by se tomu lidově stejně neříkalo RAID 1 – a problém by byl úplně stejný.

Mimochodem, btrfs vlastně funguje přesně v duchu té původní myšlenky RAIDu a jenom ji dovádí ještě o něco dál. Ta původní myšlenka byla „pojďme místo jednoho drahého spolehlivého disku použít pole levných méně spolehlivých“. btrfs v tom jenom jde dál a říká „místo několika velkých drahých disků použijme spoustu malých levných disků, použijme cokoli, co se nám tu zrovna válí“.

[trekker.dk]

Bez ohledu na to, kolikrát své ptákoviny zopakujete, budou to pořád ptákoviny. Nechcete se odebrat zpátky do té díry, ze které jste vylezl, nebo se tam s vámi už nikdo nebaví, tak jste přilezl sem?

[miho]

Nenapsal bych to tak hrubě ale s obsahem souhlasím. Připomíná mi to vtip jak chlápek jede po D1 a v rádiu hlásí "Upozornění pro řidiče na D1 - na 80km. jede jeden řidič velkou rychlostí v protisměru.". A chlápek na to rozčíleně: "Jakto jeden?!? Všichni kromě mě!!!"

[lertimir]

No ale na druhou stranu, ať se tady pohádáte, jak chcete tak na to, že renundance v btrfs se pořád bude jmenovat RAID. A stejně tak všude, v dokumentaci píší, že to má rysy obvyklého RAID. např SysdminGuide: Btrfs's "RAID" implementation bears only passing resemblance to traditional RAID implementations. Instead, Btrfs replicates data on a per-chunk basis. If the filesystem is configured to use "RAID-1", for example, chunks are allocated in pairs, with each chunk of the pair being taken from a different block device. Data written to such a chunk pair will be duplicated across both chunks.

[j]

Ve skutecnosti se "klasicky" raid zalozeny na replikaci sektoru uz prakticky nepouziva. Jednoduse proto, ze SW cestou se to da udelat lip, levnejs, a muze to mit mnohem zajimavejsi vlastnosti.

Jednou z tech vlastnosti je trebas moznost pridavat (a potazmo odebirat) libovolny pocet libovolne velkych disku, dokonce libovolneho typu (sata/sas/nvme/hdd/ssd/...). A pole si to proste nejak prebere, samo si na rychlejsi story ulozi data ktery se pouzivaji casto, na pomalejsi ty, ktery tam jen tak hnijou ... a netreba slozite pridavat nejaky raidgrupy, resit, ze minimalni pocet disku je nejakej, a maximalni jinej ... resit, co ma byt na ssd a cemu staci hdd.

Proste ... chybi ti 1TB prostoru? OK, pridej 1,5TB v pripade R5 nebo 2TB v pripade R1, ve skoro libovolny konfiguraci disku a vyreseno. Maximalne kliknes na volume a das expand.

Defakto presne takhle funguje btrfs. Jen komercni reseni nabizeji v nekteryho ohledech vice (jde trebas nastavit, kolik mrtvych disku ma volume ustat), a v jinych trebas i mene(volume trebas jde zvetsit ale ne zmensit).

Podstatny vlastnosti libovolnyho pole jsou dve. Jednak chrani proti vypadku 1-N disku. Druhak Xkrat zvysuje vykon. Nekdy oboji, nekdy jen jedno z toho. Jak se toho docili je uplne nezajimavy.

A presne tohle umi btrfs (a i dalsi SW reseni) mnohem (radove) lip, nez klasika. Proc? Protoze trebas typicky R5 chrani proti vypadnu JEDNOHO disku v JEDNY raidgrupe. To se da (trochu) vylepsit spare diskem (ale viz velikost vs cas prepoctu). Btrfs v libovolny variante ve skutecnosti chrani proti vypadku libovolnyho poctu disku, je to dano pouze mnoztvim disku, volnou kapacitou, a casem.

Jinak receno, pokud budu mit 10 disku a pole bude zaplneno z 50%, muze umrit 5 disku. Ne najednou, ale pokud se mezi smrti tech jednotlivcu stihne prepocitat pole, tak muzou umrit. TO se na klasickym raidu vubec udelat neda. Tam je rozhodnuto predem kolik mrtvych disku to prezije. Nehlede na to, ze na klasice muze klidne 100+ diskovy pole odepsat vypadek dvou disku, pokud vypadnou dva ve stejny grupe (kvuli tomu se zrcadlej i cely pole). Presto, ze teoreticky to pole muze fungovat i pri vypadku 50+ disku.

[Heron]

Dost pochybuju o tom, že by ta karta za dvacku byla uvnitř něco jinýho než klasickej hw raid s pár možnostma navíc.

Jasně, softwarově definovaný úložiště se chovají jak píšeš a z některých z nich vyloženě je cítit, jestli jsou uvnitř založený na principech BTRFS nebo třeba CEPHu a jen to dotáhli do konce přesně pro potřeby toho, co má to pole exportovat.

Ne najednou, ale pokud se mezi smrti tech jednotlivcu stihne prepocitat pole, tak muzou umrit.

Jasně a toto je dost silná podmínka. V nějaké diskusi vedle někdo radil použít co nejvíc do nejmenších disků. Jenže i to narazí na pravděpodobnost úmrtí dalšího disku během rebalance. Pokud do btrfs raid-1 dám 50 disků (jak se někdo ptal), tak pravděpodobnost výpadku dalšího disku během rebalance po výpadku prvního už není zrovna malá. A když se to stane, tak se 100% přišlo o část dat. Jednoduše proto, že btrfs ty bloky rozhazuje více méně náhodně, takže lze tvrdit, že kopie bloků z libovolného jednoho disku jsou rozprostřeny na zbývajících 49 diskách. A když po výpadku jednoho disku vypadne i další, tak se 100% přišlo o nějaká data. A vzhledem k tomu, že stačí, aby vypadl libovolný náhodný disk, tak šance na ztrátu dat s větším počtem zařízení dost rychle roste. Proto bych ocenil (a už to má být v 5.5) zvolit vyšší míru redundance. 3 pro větší počet disků se zdá být velmi rozumné.

[Aleš Kapica]

Fakt nechápu, že těm reakcím věnuješ tolik času. A si každý používá co chce. Jde o jejich data, jejich čas a jejich budoucí problémy. Čas od času se z jejich řad rekrutuje pindal, co se vyjadřuje k tomu co dělám, jemuž evidentně nedochází, že do lidí kterým věci fungujou se rýpat nevyplácí.

[j]

Sak proto se pouzivaj konfigurace odolny proti vypadku vice disku. I btrfs umi R6 a pocitam ze primet ho aby multiplikace byla jeste vyssi zas nebude takovej problem.

U tech vic profi reseni se navic pole casto ani neprepocitava, protoze tam funguje nejaka prefail diagnostika disku, a tudiz se disk vyradi jako vadny driv, nez ve skutecnosti chcipne. Coz vede k tomu, ze se ve skutecnosti pole neprepocitava, ale proste se ty data jen vemou a presunou na jiny disky.

Jasne ze radic za dvacku tohle neumi ... ale prihod nulu a mas to vcetne krabice na disky a supportu. Za 2-3 roky si to mozna za tu dvacku muzes koupit z frcu.

[paul2no]

Jestli se nepletu, tak to co používá btrfs se oficiálně nazývá RAID1e. A je fakt že označení RAID1 může být matoucí.

[Josef Kufner]

Pošli bugreport. Asi by stálo za to to opravit v dokumentaci a přidat alias do implementace.

[lertimir]

Ani tak to není možné brát. RAID1E je velmi silně založen na stripingu. btrfs RAID1 nemá žádný stripping. Všechny RAID levely standardně pracují s tím co se děje na blocích, ale to v btrfs není.