Dotaz: Disky v RAID10

[alkoholik]

Mam klasicky SW RAID10 ze 4 disku, ale uz mi nestaci misto.
V planu je migrace na RAID1 ze dvou vyrazne vetsich disku. A protoze uz nemam volne SATA porty, je planovany postup: vytahnout 2 disky z RAID10, na volne porty povesit disky pro RAID1, presunout data a zlikvidovat zbytek RAID10.
Otazka zni: jak jednoduse poznam, ktere 2 disky ze 4-diskoveho RAID10 muzu vytahnout, aby pole jeste bezelo?
Zalozni metoda je samozrejme pokus-omyl nebo nejdriv rozbit uz nachystany RAID1 a pripojit jenom jeden disk, ale nechce se mi v serverovne stravit mladi pri soucasnem kopirovani a syncu.

---

---

Odpovědi

[paul2no]

Tohle bych nedělal. Přídavný SATA řadič stojí na eBay pár drobných. A bude se jistě hodit i do budoucna. Lepší než riskovat, že to skončí ztrátou dat.
Jinak já používám btrfs RAID 1 (ve skutečnosti teda RAID 1e) momentálně ze čtyř disků. Ten umožňuje měnit, přidávat i odebírat disky za běhu. Doporučuji.

[alkoholik]

Pridavny radic znamena vypnout server a spinavou manualni praci.
Vypinat stare disky najednou je vetsi risk nez chvilka v degradovanem modu. Radsi si zahotswapuju.

[Milan Uhrák]

hodil bych ty disky na usb to sata převodník a zkopíroval. Nebude to takový fofr, ale zase nemusíš vypínat server. A ten převodník se bude hodit. na další akce

[Peter Golis]

V časoch USB2 bolo výslovne uvádzané že disky na RAID sa nesmú vešať cez USB, že ich to dosť často vykopáva keďže USB nie je spoľahlivé pri prenose väčšieho objemu dát. Už sa to zlepšilo, že radíš niekomu si takto zlikvidovať dáta v serverovni?

PS: Silno odporúčam zálohu pred takýmto šachovaním s dátami. Nepredpokladám že ich cena by bola menšia ako jeden radič a zopár diskov (poprípade aj s serverom).

[k3dAR]

tak treba USB3 s UAS(USB Attached SCSI) dava vykon lepsi nez nativni SATA2...

[Peter Golis]

Tie USB disky boli vykopávané z RAIDu kvôli mizernej spoľahlivosti, presnejšie kvôli latencii. O znížení latencie, a zvýšení stability tá stránka z lexikónu nič nehovorí.

Ja by som tiež nemal odvahu a ani chuť riešiť RAID na USB diskoch aj keby tie dáta mali pre mňa väčšiu cenu ako povedzme stovku éčok za dva maličké externé disky. Prinesenie si vlastného servera do ktorého človek dá väčšie disky, alebo zápožička diskového priestoru v dátovom centre sú spoľahlivejšie riešenia ako nejaké doštičky ktoré nemusia dostať dosť šťavy na napájanie cez to USB (známy to risk USB a diskov s jednou kšandou). Poprípade šifrovaná záloha na zapožičaný priestor, výmena celej sady diskov a následná obnova zo šifrovanej zálohy podľa mňa nesie najnižšie riziko. Tie staré disky si človek môže ponechať vo firme na pár chvíľ, pre strýčka istotu.

[Milan Uhrák]

Proboha! zklidni se. Píšu, že data má KOPÍROVAT NA USB disky.

Mám na USB2 už 2 roky pripojený disk na zálohy ( server ) a ještě se mi nestalo, aby s tím byl problém. Proto mu to radím. Po zkopírovaní a kontrole dat (?) může disky z usb dát do serveru namísto původních .. nebo jak to má vymyšlené (na SATA).

[Peter Golis]

Mno, ja som takých tichých chýb už videl dosť. Buď bolo ignorované potvrdenie zápisu, alebo sa disk pri väčšom dátovom toku po nejakej dobe rovno odpojil.

PS: Pred dvoma rokmi už bolo takmer nemožné zohnať iný disk ako USB3, a aj server bez USB3. Tie sú lepšie a rýchlejšie, len pri spoľahlivosti by som tiež za to nedal nohu do ohňa.

[Michal2]

To jsou mi veci... Ja mam pres USB3 pripojene 2 disky v ZFS RAID1. Jsou to zalohy VM takze tam kazdy den natece 130GB a stejne mnozstvi se smaze. Celkem tam je pres 3TB dat. Kazdy mesic se dela scrub. Bezi to takhle 2 roky+. Pocet problemu: 0. Pocet odhalenych checksum chyb behem scrubu: 0.

[Peter Golis]

Tak presne to ma zaujímalo. USB3 tým pádom vyzerá použiteľnejšie.

[okl]

pocet obnovenych dat 0

[lertimir]

Potvrzuji a souhlasím s Tebou. Koupil jsem si před časem dokovací stanici itec na disk. A se dvěma disky uživatel musí být velmi opatrný. Naformátoval jsem disky na LUKS+btrfs a používal je jako odkladiště na méně důležité filmy. A když jsem s tím začal intenzívně pracovat (tj kopírování/zápis řádově nižších stovek GB do obou disků současně, paraleně čtení a move něčeho jinam prostě přestěhovávání velkého objemu) tak se všechno zhroutilo. Obrovské množství btrfs checksum chyb v logu, nesmírné zpomalení zápisu, vypadávání disků z mountu. Nicméně když jsem dock vypnul, znovu zapnul, tak jednak btrfs-scrub nahlásil jen dva porušené bloky a disk se chovaly normálně (smart samozřejmě v pořádku). Následné zkušenosti, pokud se pracuje pouze z jedním diskem tak žádný problém s libovolnými objemy dat. Pokud se pracuje s oběma disky tak velmi opatrně, malé objemy a ne současné přenosy. Patrně řadič v dokině je nějak zflikovaný, příčinu nevím. Ale RAID bych na to nepustil ani za nic.

[k3dAR]

protoze nenachazim "nikde" info zda prevodnik v U3CLONEDOCK podporuje UAS, tak predpokladam ze ne a je tam nejake smecko
nahodile treba tohle: evolveo dion1, ma kvalitni prevodnik JM561 kterej UAS podporuje takze rychlost/stabilita/paralelnost...

[lertimir]

OK. díky za info. Fakticky když jsem to kupoval, tak jsem se evolveu vyhnul. Protože přechozí dock (který tedy už odešel do křemíkového nebe) od evolvea mne zase naštval jiným dosti zrádným způsobem. viz

[Peter Golis]

Fuj, ten starý problém bol u teba okresanie kapacity na 2T. To mi s hrôzou pripomenulo čítačky na SD karty ktoré odmietali pracovať ak na karte nebol FAT.

[k3dAR]

jasne, to byl prvni co na me vypadl, obecne je proste dobre pred koupi USB=>SATA prevodniku si dohledat recenzi a zda je dostupne info o pouzitem chipsetu a/nebo podpore UAS, pripadne podle chipsetu pak dohledat zda UAS podporuje, je to podobne u SBC co maji SATA pres USB, ten co ma pouzit kvalitni prevodnik s UAS bude dosahovat nativnich SATA vlastnosti...

[k3dAR]

priklad, Odroid HC1 ma ve specifikaci vyrobce:

HDD / SSD SATA interface	JMicron JMS578 USB 3.0 to SATA Bridge with UAS capability to archive near ~300MB/sec transter speed

[alkoholik]

Server je starsi a ma jenom USB2, takze fofr nebude "takovy", ale proti nativnimu SATA asi 10x mensi.
Diky, ale tohle reseni jsem zavrhnul predem.

[vandrovnik]

Přijde mi lepší odpojit jen jeden disk, zapojit jeden velký, vytvořit degradovaný raid 1, přesunout data a až pak odpojit zbývající 3 staré disky, přidat druhý nový disk a nechat sesynchronizovat.

[lertimir]

Mě osobně ze všech řešení přechází mráz po zádech. Protože pořád je to cesta, kdy se v nějakém čase vše pověsí na jeden "single point of failure", který když se v té chvili pokazí, ať již z jakéhokoli důvodu, přijdete o vše.

Takže pokud si už někdo platí servrovnu tak by mohl mít i na to, aby si koupil nějakou řekněme dvoudiskovou USB bay. do ní strčil jeden/dva dostatečně velké disky na zálohu, provedl zálohu, pak server vypnul. vyndal 4 disky z RAID10, vložil 2 disky na RAID1 a restauroval ze zálohy. (potřebuje se jen hrubá kapacita na zálohu navíc, ale vůči tomu nejsou nikdy v žádném okamžiku disky/pole v degradovaném stavu, nikdy nic nevisí na jediném bodu, vždy se dá ukročit zpět, když je problém, a finálně bude vše plném RAIDu).

Podstatné mě připadají otázky:

1. Je možné server vypnout? Ano/ne popř jak může být dlouhý výpadek
2. O jak velkých objemech dat se bavíme?
3. Jak velký je objem aktualizací, které na serveru probéhají hodinově/denně.. popř. by na severu problěhly od zahájení přestavby do jejího ukončení?

[alkoholik]

Puvodni RAID10 pujde pred kopirovanim do RO, takze budu mit porad dve kompletni kopie. Jednu v degradovanem RAID10 v serveru a druhou vytazenou na stole.
Jsou to radove TB a nechce se mi tvrdnout v DC pri kopirovani sem a tam. Puvodni disky totiz musim vzit sebou a nechat zlikvidovat.
Zkopirovani z degradovaneho RAID10 na novy RAID1 mi proste vychazi ze vsech reseni nejrychlejsi a skoro nejbezpecnejsi.

[dustin]

Jak uděláš RO raid?

[alkoholik]

Me staci RO na fs. Pripadna zmena RAID metadat ho nema jak poskodit, kdyz bude syncnuty.

[dustin]

Šlo mi o to, jak zařídit, aby ti to raid neoznačil jako rozpadlý, když vyhodíš druhý disk nesprávný. Obávám se, že na to RO stačit nebude...

[alkoholik]

A ted koukam, ze mdadm ma v manualu
--readonly
This will mark an active array as read-only, providing that it is not currently being used. .

[alkoholik]

RO remount filesystemu nestacil, aby tohle fungovalo. Byl potreba umount, pak mdadm --readonly a nakonec mount -o ro.

[trekker.dk]

LMGTFY https://superuser.com/questions/567267/need-to-find-which-drives-are-mirrored-within-raid-10-array

[alkoholik]

Ten typek z odkazu tvrdi:

    Number   Major   Minor   RaidDevice State
       4       8       50        0      active sync set-A   /dev/sdd2
       1       8       34        1      active sync set-B   /dev/sdc2
       2       8       18        2      active sync set-A   /dev/sdb2
       3       8        2        3      active sync set-B   /dev/sda2

'Note the denotation set-A or set-B. In the above case, sdd and sdb can fail together without data loss. It is possible this data is not available while the array is rebuilding though.'

Jiny zase rika: 'So long as at least one drive in each set is OK, your data is OK. If both drives in one set dies, all your data is toast.'

Prijde mi, ze Google v tomhle nepomuze, proto se ptam.

[trekker.dk]

Pokud tam máte LVM (a když ne, tak 6 loop zařízení vyrobených ze souborů taky stačí), tak můžete zkusit udělat RAID10 ze 3 párů disků a pak ze 2 trojic disků - uvidíte, jak se ten výpis bude lišit a kdo z těch dvou má pravdu.

[alkoholik]

Samozrejme jsem si samozrejme zkusil (par loopu tu uz mam):

sudo mdadm -C /dev/md0 -l 10 -n 6 /dev/loop0 /dev/loop17 /dev/loop18 /dev/loop19 /dev/loop20 /dev/loop21
mdadm: Defaulting to version 1.2 metadata
Floating point exception

A v dmesg: <[495923.472701] traps: mdadm[31270] trap divide error ip:55e16a659f26 sp:7ffc78daa600 error:0 in mdadm[55e16a622000+66000]
Nez to zacnu debugovat, tak se zeptam..

[alkoholik]

mdadm --create /dev/md10 -l 10 -n 6 /dev/mapper/obrazy-raid* mi prošlo - ta hvězdička se expanduje na čísla v rozmezí 1-6. Výpis detail pak byl:

         Layout : near=2
    Number   Major   Minor   RaidDevice State
       0     253        2        0      active sync set-A   /dev/dm-2
       1     253        3        1      active sync set-B   /dev/dm-3
       2     253        4        2      active sync set-A   /dev/dm-4
       3     253        5        3      active sync set-B   /dev/dm-5
       4     253        6        4      active sync set-A   /dev/dm-6
       5     253        7        5      active sync set-B   /dev/dm-7

Při vytvoření pole s layout n3: mdadm --create /dev/md10 -l 10 -n 6 -p n3 /dev/mapper/obrazy-raid* to pak bylo:

         Layout : near=3
    Number   Major   Minor   RaidDevice State
       0     253        2        0      active sync set-A   /dev/dm-2
       1     253        3        1      active sync set-B   /dev/dm-3
       2     253        4        2      active sync set-C   /dev/dm-4
       3     253        5        3      active sync set-A   /dev/dm-5
       4     253        6        4      active sync set-B   /dev/dm-6
       5     253        7        5      active sync set-C   /dev/dm-7

Soudě podle toho bych řekl, že A, B a C jsou identifikátory jednotlivých kopií. Podle mě to, co jste opsal do #12 (ten týpek z odkazu trvdí...), sedí. Pro layout n2 jsou všechna data dostupná, pokud z každé dvojice A-B je dostupný aspoň jeden disk. Aspoň mám pocit, že podle téhle logiky jsme už jeden RAID10 předělávali... ale pravda je, že už je to nějakej pátek

[lertimir]

funguje ti to? Zkusil jsem to na CentOSu s mdadm - v4.1-rc1 - 2018-03-22. A i když je to pole RAID10 pravidelně checké, (naposled před týdnem) tak, žádná s popsaných metod nedala výsledek o párech.

[trekker.dk]

Jo, mdadm v 3.3.1 na gentoo to takhle ukazuje, jinde RAID 10 nemám. (Ale mám pocit, že na aktuálním Debianu jsem to zkoušel taky.)

[lertimir]

zajímavé. Arch s mdadm - v4.0 - 2017-01-09 je s zobrazením v pořádku

    Number   Major   Minor   RaidDevice State
       0       7        0        0      active sync set-A   /dev/loop0
       1       7        1        1      active sync set-B   /dev/loop1
       2       7        2        2      active sync set-A   /dev/loop2
       3       7        3        3      active sync set-B   /dev/loop3

CentOS 7 což by měla být konzervativní distribuce má v base repo mdadm - v4.1-rc1 - 2018-03-22 a dává

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       4       8       65        3      active sync   /dev/sde1

tedy bez párování.

[trekker.dk]

Jako že v nové verzi vyhodili nějakou užitečnou funkci? Teda, že se vůbec ještě divím...

[dustin]

A nebo je to tím, že druhý příklad má far layout a set se tedy nevypisuje. Minimálně dle commitu z 2012, který v mdadm samozřejmě stále je.

https://github.com/neilbrown/mdadm/blame/5d518de84e7cd3382b4984cc1243ddb4102aa4f4/Detail.c#L699

https://github.com/neilbrown/mdadm/commit/2c096ebe4b8f38faf701286852dbfd5939cfee47

http://www.ilsistemista.net/index.php/linux-a-unix/35-linux-software-raid-10-layouts-performance-near-far-and-offset-benchmark-analysis.html?start=1

[lertimir]

Ano máš pravdu, pole je ve far layout, neuvědomil jsem si to.

[dustin]

Jak již bylo řečeno, přídavný SATA řadič stojí pár korun. Je nesmysl z tohoto důvodu riskovat ztrátu pole a kopírovat to v degradovaném režimu.

[j]

Vetsi blbost sis snad uz vymyslet nemoh, ty nemas druhej pocitac?

Jinak to jednoduse poznas tak, ze si prectes jejich SN, stejny bude na etikete disku. Trebas smartctl -i /dev/sda.

[camel1cz]

Určitě bych ten stroj nevypinal ani nerestartoval. Prostě zajistit aby se data neměnila a pak je zkopírovat na něco externiho a spolehliveho.

Postavil bych ten nový RAID v jiném stroji a data na něj zkopíroval po síti. Podle toho, jak velký downtime si můžeš dovolit si ten stroj připoj doma/v kanclu nebo přímo kříženými kabelem v serverovne (můžeš mezi tím jít na oběd/do kina. Hlavně si nesundavej bundu, uz jsem tam pěkně nastydnul .

Jako alternativa by to šlo nacpat na nějaký cloud, ale to je zase komplikace (bezpečnost, pronájem prostoru na omezený čas, rychlost těchdle služeb atd.) Není nad to držet se klasického "keep it simple"

[lazywriter]

A co proste na ten RAID 10 nesahat a postavit ten RAID 1 v degradovanym stavu treba pres USB. Zkopirovat data (takze budou dve kopie). Regulerne vypnout ten RAID 10, disky vymenit a rebuildnout RAID 1. RAID 10 by tak nemusel byt vubec v degradovanym stavu a kdyby se pri rebuildu RAID 1 neco stalo, tak je velka pravdepodobnost, ze bude OK.

[PetebLazar]

Náhoda je blbec a je otázkou zda na půlce RAID10 (po splitu) budou vůbec celá data konzistentní. Již jsem mdadm (pokud jde tedy o něj) pár let netrápil, co si vzpomínám tak se na členech měnil při aktivaci timestamp(counter), aby si bylo pole vědomo stáří členů (odmítlo zapojit do RAID svazku zastaralého člena, který byl v minulosti nedostupným).

[pc2005]

Když jsem naposled dělal online kopii celýho filesystému, tak jsem si rozvrtal stavové informace pro různé démony, což mělo za následek, že jsem to pak opravoval s mnoha restarty.

Ale klidně bys to mohl tím rsyncem udělat taky. Přes 1G síť to pojede samo a nemusíš se v serveru vrtat dokud tu novou kopii pořádně neotestuješ.