Dotaz: Linux SW RAID6 nebo RAID10

[majales]

Zdravím, Instaluji nový server pro virtualizaci. OS je Debian Wheezy a váhám zda nastavit sw raid na 4 discích jako RAID6 nebo jako RAID10. Stav disků v raidu bude monitorovaný nagiosem a na stole mi leží disk náhradní. Co myslíte jakou variantu zvolit?

Odpovědi

[alkoholik]

RAID10.

[Aleš Kapica]

RAID6

[majales]

A co IO při 8-10 virtuálních mašinách (LVM disky a windows server a linux mašiny ) ?? Nebude to brzdit?

[Jendа]

Podle toho co tam poběží, že jo…

[alkoholik]

Kontrolni otazka: kolik I/O operaci znamena zmena jednoho bloku na 4-diskovem RAID6?

[pavlix]

+1

[majales]

Rozhodl jsem se nakonec pro RAID6, akorát mi z toho vychází, že musím udělat minimálně 3 pole první - RAID10 pro /boot, druhé - RAID10 pro swap a třetí bude RAID6 pro LVMko/LVMka. Nebo myslíte, že bych měl bootovat z RAID6 a LVM a udělat jen dvě pole?

[Aleš Kapica]

Jedno pole žádný swap. Nad tím LVM. A nebo bych udělal rovnou btrfs s raid6, ale mám dojem že s tim ještě neumí grub.

[majales]

Jedno pole? Zvládne Debian Wheezy boot z RAID6? A co swap? Write penalty pro zápis na RAID6 je dost velká.. Btrfs rovnou vylučuji. Musel bych mít VM v qcow nebo raw souborech. S LVM udělám zvlášť partition pro každý stroj. Možná i nested LVM jak tu někdo psal.

[Jendа]

Zvládne Debian Wheezy boot z RAID6?

Ano, je tam GRUB2.

A co swap?

Podle mě by server měl mít dost RAM na to, aby se swap moc nepoužíval.

[majales]

A co tento bug? grub-pc: Grub2 fails to boot from a degraded mdraid RAID6

To by mě asi docela štvalo, že nemůžu nabootovat když bude RAID6 degradovaný.

[Jendа]

Aha, s degradovaným jsem ještě nebootoval. Dobré vědět.

Nainstaloval bych grub z Jessieho. Nebo bych možná obecně už nainstaloval Jessieho, stejně brzo vyjde.

[Aleš Kapica]

Ale nabootuje, akorát musíš mít ten grub naistalovaný na začátku každého z disků toho raidu a se všemi potřebnými moduly. Což se u starších verzí grubu byl problém, jelikož autodetekce nefungovala jak měla. Já používám unstable (jessie), a tam už to je tuším pořešené, ale dlouho jsem na to musel pamatovat a po aktualizaci grubu vždy nainstalovat znova zaváděcí část se všemi potřebnými moduly.

[Jendа]

btrfs už umí RAID6? Nedávno neuměl recovery. A taky když tam bude mít obrazy disků, tak se mu to kvůli CoW strašně fragmentuje.

[Aleš Kapica]

CoW lze u Btrfs vypnout jak pro adresář, tak i pro jednotlivé soubory. A co je to "nedávno"? Půl roku? Rok? Dva? Když v IT se jeví jako středověk pět let zpátky?

[Sten]

btrfs RAID6 stále neumí recovery, nikdo to zatím nenapsal

[pavlix]

Asi jak ve kterém IT.

[Jendа]

A co je to "nedávno"?

Tři měsíce. A podle jejich wiki furt.

[Aleš Kapica]

Pokud jde o to recovery, tak to je možné. Pokud jde o produkční nasazení, tak jsem Btrfs v režimu raid6 sice použil na testovacím clusteru, nicméně z praktického hlediska upřednostňuji Btrfs v režimu raid1 (když už). A to z důvodu že z Btrfs v režimu raid6 neumí Grub nabootovat. Z čistě praktického hlediska používám softwarový raid6, nad kterým je LVM a Btrfs teprve nad logickým oddílem, resp. nad oddílem sdíleným přes DRBD.

[Iva1]

Dobrý den, kde můžu spolehlivě dohledat výrobce sw? Potřebuji to často ke své práci...a nedaří se mi většinou "vygooglovat". např. sw VIVADO DESING SUITE.. děkuji

[dustin]

Zřejmě sw jako sw

[Jendа]

Xilinx a asi blbě hledáš, v DuckDuckGo, Yandexu i Googlu je to na prvním místě.

[Sten]

To záleží. RAID 6 bude o něco bezpečnější (pokud ty disky mají nad 2 TiB, tak o dost bezpečnější), ale o dost pomalejší.

[Jendа]

Podle mě to za to nestojí, pokud člověk má dobré zálohy, ale to musí mít stejně. Navíc když píše, že náhradní disk bude okamžitě dostupný.

[Sten]

Problém je, že teoreticky má šanci na druhou chybu během synchronizace po první chybě, i kdyby tam měl hot spare. Ale je to stále jenom 50 % a jenom jeden bit.

[Jendа]

Problém je, že teoreticky má šanci na druhou chybu během synchronizace po první chybě, i kdyby tam měl hot spare.

Ale pokud se bavíme o silent data corruption (opět, přijde mi, že k tomu v praxi téměř nedochází), tak tam RAID6 bez checksumů nepomůže.

[Sten]

Nejde o silent data corruption, ale o chybu čtení. Disky používají CRC, takže by k silent data corruption na discích nemělo docházet.

[Jendа]

Takže ty tvrdíš, že pouhé opakované sekvenční disku způsobí po 12 přečtených TB s 50% pravděpodobností jeho selhání? i.e., že 4TB disk lze za celou jeho životnost jenom 3x přečíst? To je fantastické (ve smyslu fantazie) a rozhodně nic takového nepozoruju na WD ani Seagate všech možných stáří a sérií.

[Sten]

Není to chyba, že by ten disk přestal úplně fungovat, ale že něco nepřečte. V poli s paritou to není problém, ale při rekonstrukci to může skončit špatně. Netvrdím to já, ale sami výrobci v hodnotě URE. Přečtěte si ten odkazovaný článek.

[Lol Phirae]

Přečtěte si ten odkazovaný článek.

Hodnocení článku: hromada kokotin.

[Jendа]

Odkazovaný článek jsem si samozřejmě přečetl u dávno.

Jeho první část (Disks fail) píše o selhávání disků obecně nezávisle na kapacitě. Nás se tedy netýká.

Jeho druhá část (Reads fail) píše přesně to, o čem jsem psal v komentáři, na který reaguješ, že mi přijde fantastické (tím selháním jsem myslel to, že je na něm nečitelný sektor).

[lertimir]

Ja v soucasnosti chapu silent data corruption primarne jako chybu v kabelu k disku nebo chybu elektroniky. Na discich je jiz tak vysoka hustota informaci, ze bitova chybovost je normalni. 4K disky maji mnohem vetsi moznosti pro korekci chyb pri stejne i nizsi redundanci. Ale problem mezi diskem a pameti se nezkoriguje.

Chyba cteni samozrejme nekdy nastat muze, ale pokud pole je pravidelne kontrolovano tak pravdepodobnost, ze mezi kontrolami kleknou dva disky je velmi mala.

[Sten]

Mezi kontrolami ano, ale u degradovaného pole výrazně naroste zátěž zbývajících disků

[Jendа]

Kontrola udělá přesně stejnou zátěž jako rebuild (prostě ty disky sekvenčně přečte).

[Sten]

Jenže z těch disků nejede jenom rebuild, ale i všechny aplikace. Pokud jeden disk vypadne, jeho zátěž se přesune na ostatní.

[Šangala]

Má u sebe doma 2× RAID1 (ne 10) a uvažoval jsem o RAID6 a teď mě sem tam mrzí, že jsem nedal RAID6. Už jen proto, že u RAID1 nikdy nevíš jestli když hlásí špatně, tak je to opravdu špatně - mismatch_cnt a taky bezpečnost je vyšší.

Záleží na tom co ty mašiny budou dělat, jak vytíží disky (budou mít swap a když ano, kdy do něj půjdou), kolik jich bude a kde budou mít třeba /tmp (u mě v RAM), bo přece jenom RAID6 krapet náročnější (ze 4-mi disky).

[Jendа]

Už jen proto, že u RAID1 nikdy nevíš jestli když hlásí špatně, tak je to opravdu špatně - mismatch_cnt a taky bezpečnost je vyšší.

To u RAID6 během resyncu taky nevíš. No a nebo můžeš použít něco co umí kontrolovat checksum.

Podle mě je ale silent data corruption přeceňovaná. Už jste ji někdy viděli? Já na pravidelně scrubovaném 15TB ZFS poli ještě ne, přitom podle toho článku výše by k tomu mělo dojít jednou za 12 přečtených TB.

[Šangala]

Pokud u RAID6 je mismatch_cnt větší od nuly, celkem jistě něco je nebo bylo špatně nebo obojí, pokud je tomu tak u RAID1 nevíme nic, jedině pokud se si to sjedeme na nepoužívaném poli.

U starých obrázků (většinu z dob MS-DOS 6.22), které jsem přenášel z disku na disk, mám poškozená data/soubory a nevím kdy k tomu došlo (ano mohlo k tomu dojít někdy při kopírování nebo použití, těžko říct).

Jinak silent data corruption je ze své podstaty neviditelný problém a až se zjeví porucha, tak už obvykle nelze říct, čím to bylo způsobeno…, a ZFS je taky tak nějak by design silent data corruption immune.

Osobně jsem rozhodnutý příště (pro sebe a kdoví kdy) dát RAID6 (a třeba do té doby bude stabilní btrfs RAID5/6 ;) ).

[Jendа]

Jinak silent data corruption je ze své podstaty neviditelný problém a až se zjeví porucha, tak už obvykle nelze říct, čím to bylo způsobeno…

Ne, když máš FS s checksumy, tak silent data corruption zjistíš, respektive když máš RAID, tak ti ho i opraví (a zaloguje, takže to uvidíš).

[lertimir]

Pokud je to komerční akce na které záleží, udělal bych si nějaký čas na testy. Když to není rozběhnutý systém nebo nějaká krutá deadline, tak věnovat půl dne nebo den testování prázdného systému dodání, zase tak moc neovlivní čas dodání, těch faktorů dodávky je mnohem více. udělat si plán testů, a datové zátěze (velké zápisy jednoho proudu nebo mnoho malých souborů a otestoval obě konfigurace R6 a R10), když si to člověk trochu připravi a hodí do skriptu není to moc práce. a také může použít nějaké nástroje jako fio bonnie++ nebo IOzone. Hlavní rozdíl byl už napsat RAID6 je asi bezpečnější ale pomalejší, ale o kolik, je asi lepší změřit. ani nevíme co jsou to za disky.

[majales]

Disky jsou WD2000FYYZ. Dedline není. IOzone, Bonnie++ a IOmeter jsem už používal, ale y toho co jsem si přečetl asi budu tíhnout spíš k tomu RAID6. Nějaká doporučení pro nastavení swappiness guestů a hosta? Předpokládám, že asi neexstituje jednoduchý způsob migrace swraid z RAID6 na RAID10?

[alkoholik]

Zalezi na tom, cemu rikas jednoduchy. Z RAID6 muzes vykopnout 2 disky, z nich vytvorit degradovany RAID10 a na nej presypat data. Pak uz jenom RAID6 zrusis a doplnis disky do RAID10.
Ale asi to neni pro sraby..
;)

[Šangala]

U VM mám swap a swappiness=1 (měl jsem swappiness=0, ale přece jenom od nějakého kernelu se nám změnilo chování nuly:) ), /tmp v tmpfs a všechny mounty ve VM mám relatime (u hostitele taky swappiness=1 + relatime).

Součet přidělených pamětí pro hosty mám nižší (trvale/obvykle jen 23GiB) než je velikost RAM (32GiB) hostitele, každá VM má předělený vlastní LV na systém, a případně další LV na data (z jiného pole), mašiny používají LVM tedy z pohledu celku nested LVM.

PS: Blbě jsem to napsal výše, mám 3 pole RAID1 (ne dvě), jedno pro VM, druhé pro data, a třetí jsou zálohy. Vše je LUKS, krom /boot, hostitel a jedna mašina (DNS) startuje díky tomu, že je tam trvale interně zasunutá flaska, z které si vezme klíč, úložiště dalších strojů a dat se odemyká druhou flaskou (nebo přes SSH, jen z interní sítě), po odemknutí se nastartuje i zbytek strojů. Stroje nic-moc nedělají a celková zátěž systému je malá, trvale běží 8 VM strojů

[majales]

Ještě mě napadá k tomu RAID6... používáte Write-intent bitmapu? Předpokládám, že ta asi taky trochu zdržuje a snižuje počet I/O operací za časovou jednotku. Jinak server by měl být na UPSce..