Dotaz: BTRFS rovnoměrné vytížení disků

[paul2no]

V serveru mám celkem 4 pevné disky a nad nimi vytvořený jeden BTRFS filesystém s RAID1. Disky mám umístěné v šuplících, kde každý má vlastní kontrolku aktivity a všiml jsem si, že jeden disk je evidentně aktivnější než ty zbývající (při zápisu to je, jakoby jedna kopie se ukládala na tento, a druhá rozkládala na zbytek). Jedná se o ten nejnověji přidaný, s nejvyšším devid. Pole jsem však po jeho přidání vybalancoval, tím by to být nemělo. Disky jsou všechny téměř stejné (3x WD Red 3TB a 1x WD Green 3TB) co do výkonu.

Zajímá mně - je tohle chování normální?

Odpovědi

[Max]

Disky že jsou skoro stejné co do výkonu? :D. WD Red tedy není nic extra, ale pořád je to tak 2x lepší, než ten Green.
A jestli ten Green je ten poslední přidaný, co je vytíženější (nevím, jak to měříš), tak odpověď je jasná.
Zdar Max

[j]

Viz Max, to spis vypada, ze ten disk je vyrazne pomalejsi nez zbytek, a jelikoz pises ze mas red vs green == 7k2 vs 5k4 ... tak se neni cemu divit.

[paul2no]

To právě ne, já mám ty obyčejné levné Red (nikoli Red Pro) které mají 5400 ot/min a o kterých jsem četl, že jsou to v podstatě WD Green s zakázaným parkováním hlaviček a jinou etiketou.

[Max]

Ano, Red je kepl, ale pořád je lepší, jak Green. A Green ač v testech většinou dopadá dobře, v reálu je se občas chová dost prapodivně.
Každopádně ještě jsi nenapsal, zda tu nadměrnou zátěž pozoruješ na tom Greenu, případně jak to měříš.
Zdar Max

[paul2no]

Ten u kterého to pozoruji je Red. Původně jsem to pozoroval jen podle kontrolek (mám u každého disku kontrolu aktivity) a pak jsem to ověřoval nástrojem nmon, kde je to vidět také, byť možná méně.

[Filip Jirsák]

Díval jste se na statistiky zaplnění těch disků? Nezapisuje se prostě na ten nejnovější proto, že je na něm nejméně dat a tím zápisem na prázdný disk se btrfs snaží pole vyvážit? Sice jste napsal, že jste pole rebalancoval, ale nenapsal jste ani jak, ani jak vypadá výsledek.

[paul2no]

Pole je vybalancované a data rozmístěna rovnoměrně.

sudo btrfs filesystem usage -T -H /srv
[sudo] heslo pro paul: 
Overall:
    Device size:		           12.00TB
    Device allocated:		            7.80TB
    Device unallocated:		            4.20TB
    Device missing:		             0.00B
    Used:			            7.74TB
    Free (estimated):		            2.13TB	(min: 2.13TB)
    Data ratio:			              2.00
    Metadata ratio:		              2.00
    Global reserve:		          536.87MB	(used: 0.00B)

             Data   Metadata System              
Id Path      RAID1  RAID1    RAID1    Unallocated
-- --------- ------ -------- -------- -----------
 5 /dev/sdb1 1.95TB   4.29GB        -      1.05TB
 6 /dev/sdc1 1.95TB   4.29GB  33.55MB      1.05TB
 4 /dev/sdd1 1.95TB   3.22GB  33.55MB      1.05TB
 2 /dev/sde1 1.95TB   1.07GB        -      1.05TB
-- --------- ------ -------- -------- -----------
   Total     3.89TB   6.44GB  33.55MB      4.20TB
   Used      3.87TB   4.57GB 557.06kB  

[Andrej]

Na Btrfs neexistuje nic takového jako RAID1 přes 4 disky. Popsaná konfigurace se tedy — pochopitelně — chová celkem nepředvídatelně z hlediska výkonu. Z hlediska redundance ustojí maximálně výpadek jednoho disku, nikoliv výpadek 3 disků, jak by člověk čekal.

Jediný skutečný RAID1 přes víc než 2 disky má ZFS.

[j]

Koukam ty ses dneska rozhod vytahovat mrtvoly, k tomu blabolit o vecech, na ktery se nikdo neptal, a jeste propagovat tu sracku, ktera se se 100% jistotou podela a veme vsechny data sebou. A navic neumi pridat (natoz odebrat...) disk, tudiz to co popisuje tazatel na tom vubec udelat nejde.

Z hlediska vykonu se btrfs kupodivu chova bezne zcela predvidatelne = cte ze vsech disku, a na vsechny zapisuje. Asi zazrak bozi ze? Protoze ty zjevne naprosto vubec nechapes, ze ten raid je na urovni bloku, jinak receno, pokud ma soubor rekneme 10 bloku a mame R1, tak to znamena 20 bloku celkem, a ty by se mely rovnomerne rozlozit pres vsechny disky, pochopitelne parovy vzdy na ruzny disky.

[paul2no]

Tak ono tomu co dělá btrfs by se správně mělo říkat RAID1e a ne RAID1, protože u R1 by opradu mělo platit že je tolik kopií, kolik je disků.

[Andrej]

Ale no tak, zase nějaký anonym — odhadem asi patnáctiletý, podle stylu projevu — žvaní nesmysly. ABCLinuxu klasika. Tak jo. Tak teď ještě ten tvůj „zázrak boží“ najdi ve zdrojácích a ne pouze ve svých snech. :-P

Nevím, o jaké „sračce“ mluvíš — a ty sám to taky nevíš; jenom kvákáš nesmysly. ZFS i Btrfs jsou na Linuxu už skoro desetiletí plně funkční a prověřená řešení se spoustou „produkčních“ nasazení. Když nevíš, o čem žvaníš, nežvaň.

Jediné, co konzistentně tvrdím: Dělat „RAID1“ na víc než 2 discích v Btrfs je kravina, protože tam rozhodně nebude očekávaná redundance (mělo by to ustát výpadek N–1 z N disků, což ale nebude ten případ) a z hlediska výkonu to taky bude hodně pokulhávat za očekáváním. (Kdo si nemyslí, že to má ustát výpadek N–1 z N disků, ať už raději nemyslí vůbec; myšlení mu zjevně nejde.)

Jednou bude Btrfs správně podporovat RAID1 přes víc než 2 disky, ale dnes to nebude. Prskající anonymní žvanilové realitu nijak nezmění.

[vandrovnik]

Ehm, v předloňské diskuzi mi propagátoři Btrfs naopak psali, že jen dva disky jsou pro Btrfs RAID1 málo a že se nemám divit, že pak mám problémy, když mi jeden z disků zdechne (protože Btrfs by v tu chvíli rádo zduplikovalo data na další disk, ale nemá kam), tak teď teda pánové vážně nevím, jaký počet disků má Btrfs RAID1 vlastně v oblibě?

Aleš Kapica: Právě z toho důvodu je lepší mít Btrfs raid 1 sestavený z několika menších disků, než jenom ze dvou velkých.

Filip Jirsák: Pokud máte dvoudiskový RAID1, z pohledu RAIDu se na tom toho moc vymyslet nedá, takže tam btrfs nemá co nabídnout.

http://www.abclinuxu.cz/poradna/linux/show/428639

PS: mám Btrfs RAID1 na dvou discích.

[Heron]

jaký počet disků má Btrfs RAID1 vlastně v oblibě

Libovolný. Je důležité zachovat dostatek volného místa, aby mohl vypadnout ten největší disk a byl prostor pro rozprostření dat na ostatní device (tj fakt není dobrý nápad mít 6TB + 6*1TB a mít na něm 5.5TB dat. Fungovat to bude až do výpadku toho 6TB disku, na ty zbývající 3TB (6*1TB v R1) se ty data už fakt nevlezou - ale lze to zkonvertovat zpět na single). Nehledě na to, že výkon půjde do kytek, protože veškerý zápis půjde na ten 6TB disk a libovolný z těch ostatních disků.

Takže rozumný počet rozumně stejně velkých disků a pamatovat na dostatek volného místa, aby největší z disků mohl případně odejít. Já provozuju r1 obvykle na šesti nebo osmi diskách (protože je to nejčastější počet portů na běžných deskách) a velikost disků je většinou stejná kromě období zvětšování. To odeberu starý disk a nahradím ho větším. Takže tam jsou chvíli disky o dvou velikostech, ale kapacita postupně jen roste, takže místo pro případné výpadky je o to větší.

[j]

Hosicku, ja s tuxem delal v dobe, kdy tys jeste sral do plen ... a o tom, co je a neni raid vis zjevne lautr hovno a desetkrat vetsi o tom, co jak funguje. Vdyt ses retadovanej negramot, kterej posila posty do threadu presto, ze na nej vybleje hlasku pres celou obrazovku, ze je mrtvej.

2vandrovnik: Neber jeho zvatlani vubec vazne, on nema ani paru o tom, jak disky fungujou nebo nefungujou. Vpodstate vsechny soudoby pole uz vubec nepouzivaji raid na urovni sektoru, predevsim prave proto, ze je to strasne neoperativni a zastaraly.

Pro predstavu: Pokud mas vic nez ... ty 2 disky, tak potrebujes ... spare. To je v klasickym usporadani plonkovej disk, kterej te stoji penize a nic nedela. Takovych disku ale musis mit v poli tolik, kolik ruznych velikosti/typu disku pouzivas (ssd/10k/7k/...) a pochopitelne v poctu krat N, kde to N nejak odpovida pravdepodobnosti vypadku (tzn u opravdu velkych poli takovych plonkovych disku budou klido desitky, protoze ti jich zdechne i nekolik denne)

Aby ses tyhle chujovine vyhnul, pouziva se virtualni spare => pole si vyhradi Nkrat volnou kapacitu (kterou z pohledu uzivatele nemas k dispozici), ale disky pouziva vsechny = vsechny se rovnomerne osoupavaji, a zaroven prihazujou svoji cast vykonu. Kdyz disk chcipne*, tak za pochodu udela pole to, cemu btrfs rika rebalanc = vyuzije cast toho volnyho prostoru.

Co vic, ono to funguje dokonce tak, ze kdyz mas raid kterej je odolnej proti vypadku jednoho disku, tak se v pripade toho virtualni pole ale mini jen okamzik, nez probehne prave ten rebalance, protoze pokud mas dalsi volny misto (nad tu vyhrazenou kapacitu) tak si ji pole veme, a tudiz ti muze umrit dalsi disk a pak jeste dalsi a dalsi ... az do vycerpani kapacity.

Tohle zadnej klasickej raid samozrejme neumi a nikdy umet nebude. Proto se od nich ustupuje. Btrfs ti poskytne zadara defakto stejnou sluzbu.

Pochopitelne v to je treba zahrnout operativni rozsirovani/zmensovani pole, coz je dalsi vyhoda. Proste vemes JEDEN disk, a pridas ho. U klasickyho pojeti musis vzdy pridat cely raid = nejmin vzdy dva dalsi disky, ale spis vic. Coz bude problem predevsim v situaci, kdy ti zbyva posledni volnej slot, kapacita by ti stacila, ale ty musis prikoupit celou dalsi polici za hromadu $$$$.

Ma to samo hromady dalsich aspektu. Btrfs je sumak ze je kazdej disk jinej, proste ti nabidne tolik kapacity v takovych raidech jak je to technicky mozny (jinak receno, klidne muzes mit 1TB a 2x500G a mas pohodovej R1). Produkcni pole si pak i samy resej, co bude na ssd, co na 10k, co na 7k ... (coz ti pochopitelne nijak nebrani to rict fixne, ale nemusis to resit). Z pohledu uzivatele se to chova jako jeden velkej prostor pro data, u kteryho ho vubec nezajima, kolik jakych disku v jakym raidu potrebuje.

--- *Normalni produkcni pole se ve skutecnosti vetsinou neprepocitava, protoze vyradi disk driv, nez chcipne, a tudiz jeste lze precist data na nem a ty se proste jen rozkopirujou na zbyvajici disky, coz je radove rychlejsi.

Apropos, raid1 pro 3 a vic disku v klasickym pojeti je vylozene teoretickej koncept. Neznam HW kterej by neco takovyho vubec umel. Prave proto, ze jako nahrada toho chciplyho disku je tam ten spare = disk se vymeni hned a sam, tudiz je to naprosta kravina. A pokud nekdo potrebuje opravdu vysokou odolnost, tak tu sou uplne jiny rizika, ktery se resej tim, ze druhy pole se stejnyma datama je nejmin 30km daleko.

[Heron]

Asi tak (jen bez těch sprostejch slov) .

Jinak fakt nechápu, co je na tom tak těžkého k pochopení. Já nevím, mě od prvního setkání s BTRFS někdy v tom roce 2010 přišlo zcela přirozené, že jeho pojetí raidu1 znamená, že datové bloky budou vždy na dvou různých device. A to už jen z toho důvodu, že btrfs od počátku v režimu raid1 umožňuje mít libovolný počet libovolně velkých disků. Jak si někteří za takového stavu představují, že data budou mirrorována na všechny disky, fakt netuším. A přes to se to pořád v diskusích těch 9 let objevuje. Z toho všeho, co btrfs umí a dělá, je přece jasné, že to tak být nemůže.

Jinak btrfs umožňuje přesně to, co jsi psal. Režim raid1, když dochází místo, přidám disk, když je nějaký disk na umření, tak jej odeberu. Dostupné místo neustále kolísá (na to je potřeba myslel a nervat to nesmyslně na 100%) a je to tak přirozené. Dělám to tak na btrfs už těch 9 let.

Apropos, raid1 pro 3 a vic disku v klasickym pojeti je vylozene teoretickej koncept.

Ano a tohle mě třeba (příjemně) překvapilo u ZFS, kdy v mirror vdev lze mít více než dva disky, takže mirrory expanduju přidáním dvou dalších disků a potom ty dva malé původní odeberu. Je to takové malé bezvýznamné plus pro zfs, protože jinak je to docela zabetonovanej stav. Až do loňska nešlo odebírat vdevy, nejdou konvertovat apod.

[Andrej]

Tohle je prostě zásadní a všeobecně rozšířené nepochopení základních definic kolem RAID1. Ne, RAID1 přes víc než 2 disky neznamená náhodné dvě repliky nějak kdovíkde. RAID1 přes N disků znamená odolnost proti výpadku N–1 disků (alespoň tedy v případě čtení; pro mě za mě ať to klidně zakáže zápisy, když to nedokáže v tu chvíli zaručit jejich požadovanou redundanci).

Takhle^^^ to chápe každý klasický SAS RAID řadič. Zapojím tam 12 disků, udělám na nich RAID1, bude tam 12 replik těch dat. Proč je tohle (pro některé) tak strašně těžké pochopit?

Jak jsem psal výše, Btrfs je bezva a myslím si, že mé sympatie k Btrfs jsou na ABCLinuxu celkem dobře známé. Jen ten RAID1 na Btrfs přes víc disků … ehm, ne. Pro víc disků než dva jsou (i přímo v Btrfs) lepší RAID režimy.

Pak má Btrfs taky ještě další problém: neumí omezit velikost stripe na určitý počet disků. Takže když budu mít RAID5 na 4 discích, bude to fungovat obstojně, ale když budu mít RAID5 na 40 discích, bude to celkem problém. I tohle má ZFS dávno (správně) vyřešené a i tohle je feature, která zatím v Btrfs citelně chybí.

Sorry jako, jakkoliv mám rád Btrfs, malinko mě začínají (slušně řečeno) znepokojovat někteří nekritičtí fanboys. Je potřeba se rozhlédnout kolem, jak funguje RAID jinde, v jiných FS, v různých implementacích mimo FS atd. Btrfs má své nedostatky. Get over it! (Jedním dechem dodávám, že nepochybuju o tom, že nedostatky Btrfs budou jednoho dne minulost. Ale dnes to nebude.)

[Heron]

Tohle je prostě zásadní a všeobecně rozšířené nepochopení základních definic kolem RAID1.

Proto jsem psal: jeho pojetí raidu1. Jestli se chcete hádat o slovíčka, tak si to klidně nazývejte Raid1e nebo Raid1^btrfs. Každopádně, každý admin by měl vědět, jakým způsobem jeho zvolený systém ukládá data a jakou poskytuje redundanci. U Btrfs je to poměrně jasné už od počátku.

Jen ten RAID1 na Btrfs přes víc disků … ehm, ne.

No mě by se např. líbila volitelná redundance. Abych si mohl zvolit, že chci mít data třeba ve třech kopiích na různých device. Tj místo názvů "raid" by při mkfs byl parametr určující, kolik kopií dat se má ukládat.

Get over it!

No já s tím problém nemám, myslím si, že z mých textů je poměrně jasné, že si dovedu představit a přeji si lepší FS (už samozřejmě rozprostřený na více nodů na síti apod.).

[Filip Jirsák]

Tohle je prostě zásadní a všeobecně rozšířené nepochopení základních definic kolem RAID1.

To není nepochopení základních definic. To je prostě tím, že když se podíváte na běžné příklady, všude se uvádí, jak vypadá RAID 1 na dvou discích. Když dojde na víc disků, málokdo hledá definice RAIDů, ale prostě použije ten název, který zná. Upřímně řečeno, ona ta definice RAID 1 je divná – RAID (kromě RAID 0) se řeší obvykle kvůli riziku selhání disku, takže každého jako první zajímá, kolik disků může selhat, aby to pole ještě ustálo. Všechny běžné stupně RAID mají počet disků jako konstantu (RAID6 dva disky, ostatní jeden disk), jediný RAID 1 s tou „správnou“ definicí je výjimka, protože ustojí výpadek n-1 disků. Ta „špatná“ definice RAID 1 (tedy RAID 1E) akorát dává RAID 1 do řady s ostatními RAIDy, kdy je počet disků, které mohou vypadnout, konstantní (1).

[Andrej]

Ale no tak, anonyme, ty ses nám nějak rozdurdil a rozohnil. Upřímně, mě až tolik nezajímá, co přesně jsi dělal s tuxem v pětašedesátym, vážně ne, a raději to vůbec nechci vědět. Věřím, že to bylo příjemné.

RAID1 je mirroring. RAID1 přes víc než 2 disky má být mirroring přes víc než 2 disky. Takhle tomu "rozumí" asi tak všechny hardwarové rádoby-RAID řadiče. Takže není úplně jasné, nad čím se tolik rozčiluješ.

RAID1 v ZFS přes N disků je N replik na N discích. Hotovo.

RAID1 v Btrfs přes N disků jsou 2 repliky na N discích s výkonnostními problémy. Ooops, maličko fail.

Jinak jestli se někdo (mylně) domnívá, že tohle jsem mínil jako flamebait proti Btrfs, nejspíš by bylo dobré (čistě pro připomenutí) poznamenat, že Btrfs používám na všech svých strojích od roku 2010 a od roku 2015 mám spoustu svých dat na Btrfs RAID5 a RAID6 polích. Asi tedy nebudu někdo, kdo by byl proti Btrfs a/nebo kdo by se bál nějakého bububu ohledně RAID5 potíží.

Btrfs je super. RAID1 přes víc než 2 disky v Btrfs není super. Takhle jednoduché to je. Jestli mám 4 disky a chci na tom něco jako RAID1, dám si tam RAID10. Což bych asi nechtěl a dal bych si tam raději RAID5, i když někteří zlí jazykové mají pořád z RAID5 na Btrfs hrůzu.