Opatrnost se vyplácí

14.9.2007 15:11 | Přečteno: 1342× | GNU/Linux | poslední úprava: 14.9.2007 16:17

RAID 1 nasazujeme, abychom nepřišli o data, pokud nám selže disk. Existují ale mnohem zákeřnější hrozby, než selhání disku.

Nedávno jsem se kvůli jednomu incidentu začal obávat, že se můj disk se spoustou nezazálohovaných dat připravuje na cestu do věčných lovišť. Nakoupil jsem tedy dva stejně velké disky, připojil je přes PCI SATA řadič s čipsetem SiI 3114, rozdělil je a vytvořil na nich sw raid 1. Data jsem na toto pole úspěšně zálohoval.

K očekávanému kolapsu původního disku nedošlo, obavy o jeho ztrátu se rozplynuly, a tak jsem začal přemýšlet, co s tím vším místem navíc. Prozatím jsem se rozhodl na něm ponechat zálohy všeho, co jsem umístil do raidu. Velmi moudrá volba.

Za pár týdnů jsem zjistil, že md5 součty souborů nějak nesouhlasí s původními zálohami. Větší soubory na raidu měly odlišné součty. Poruchu některého z disků jsem rychle vyloučil, operace v rámci každého z disků byly prováděny v přádku. Problém nastával pouze při operacích nad raidem. Šestiportový (4 int., 2 ext.) PCI SATA řadič to prostě nějak nezvládal, ačkoliv jsem obsadil pouze dva porty.

Problém jsem vyřešil přehozením jednoho z disků na jiný řadič, ale data na raidu již byla plná drobných chyb. Při opakovaném čtení stejného souboru jsem dostával různé výsledky (podle toho, ze kterého disku se ten či onen fragment souboru četl). Naštěstí jsem reálně přišel jen o naprosté minimum dat, neboť jsem měl zálohy skoro všeho na původním disku. Moje přehnaná opatrnost se vyplatila.

Když zvážím, co všechno se mohlo stát, kdybych si toho nevšiml, běhá mi mráz po zádech. Když selže disk nebo souborový systém, tak si toho člověk velmi rychle všimne, ale drobných chyb při čtení a zápisu ne, alespoň ne hned. A až si toho konečně všimne, chvíli trvá, než objeví pravou příčinu. Já jsem podezříval jednu paměťovou kartu, že přestává fungovat a vrací mi porušené fotky, zatímco celou dobu byl příčinou raid, na který jsem je ukládal.

Bral jsem v úvahu lecos - kolaps jednoho z disků nebo souborového systému, omylem puštěné "rm -rf /" (chattr +i je neocenitelným pomocníkem), ale něco takového tedy ne. Až do této chvíle. Od teď budu md5sum používat mnohem častěji...

       

Komentáře

[outsider]

Napisete, co to bylo za radic, abychom se mu mohli zdaleka vyhnout?

[Shadow]

ST-Lab A-213

[Creckx]

Před týdnem jsem objednával SATA řadič a novej disk. Přemýšlel jsem nad Kouwellem a tím ST-Lab. Nakonec jsem vzal Kouwell, i když má o dva porty míň, právě z důvodu, že mi ST-Lab příjde mnohem podezdřelejší. Až na problém s nabootěním. který jsem po pár minutách vyřešil, je vše ok.

[Shadow]

Máte štěstí. Já ten svůj kupoval na rychlo, když jsem přišel o svůj hlavní stroj a potřeboval jsem přistupovat k datům ze SATA disku na náhradním stroji, který je starý a nemá žádný SATA řadič. Když nouze pominula, řekl jsem si, že bych ho mohl využít pro nový raid. Měl jsem poslechnout instinkt a dát každý z disků na jiný řadič, pak bych měl alespoň šanci, že v případě podobného problému bude alespoň jedna záloha konzistentní.

V tomto případě by se ovšem chyba neprojevila vůbec. Po tom, co jsem jeden disk přehodil na jiný řadič už k problémům s konzistencí nedochází. Ale i tak asi velmi brzy investuji do jiného řadiče. Ideální by byl nějaký PCI-E se 4 interními porty, ale v nabídkách jsem něco takového ještě neobjevil. Jdu hledat dál.

[Deleted [8409]]

Nechcete to zkusit reklamovat a pak nám sdělit výsledky? Vím že ten řadič stojí pár korun, ale i tak:)

[Shadow]

Až nějak rozumně vyřeším zálohy, zkusím to ještě pořádně otestovat, abych vyloučil, že je chyba někde jinde. Pak uvidím, co s tím dál. I když, jak jsem tak dnes předběžně hovořil se servisem, bude to asi boj. Problém se vyskytuje v rámci Linuxu, ovšem ten ST-LAB nepodporuje, alespoň ne v rámci této karty.

[Michal Fecko]

Mam skusenosti s PCI SATA RADICmi vcelku dobre (aj s rovnakym typom - ale nie na pod sw raidom iba klasika 2 disky - system a backup), snad len doplnim ze 4 zariadenia sa na PCI SATA radic, aj ked ma 4 porty, nie vzdy daju dat (2xinterny, 2xexterny port) ale stale len 2 (bud 2 interne, alebo 2 externe, alebo kombinovane po jednom z interneho alebo externeho).

[Shadow]

Teď jsem si uvědomil - zrovna tenhle řadič má 6 portů, 4 interní, 2 externí. Článek jsem opravil.

[Shadow]

Dlužno dodat, že problém se objevoval pouze na raidu. Když jsem zkoušel číst a zapisovat na disky jednotlivě, k žádným problémům s konzistencí nedocházelo. Teď to asi vyřeším tak, že raid zruším úplně a data budu zrcadlit cronem prostřednictvím rsync jednou denně. To vyřeší i další potenciální problém - kolaps filesystému.

[Käyttäjä 11133]

data budu zrcadlit cronem prostřednictvím rsync jednou denně.

takže v podstatě zase online zálohování... To není šťastná volba

[Shadow]

Jsem otevřený jakýmkoliv lepším řešením.

[Käyttäjä 11133]

No na páskovou mechaniku tě asi neukecám... Takže doporučuju alespoň důležité věci (/etc/, /home/, /srv/) projet tarem, bzipem, gnupg, zkopírovat na jiný stroj pod názvem mantisha.m4r3k.org-17:23-20070914.tar.bz2.gpg (to je jen příklad, tak to pojmenovávám já ) No a jednou za čas buďto povymazávat staré, nebo povypalovat. (Já vypaluju.)

[Shadow]

S tím jiným strojem to bude problém, ale jinak díky za tip. Zkusím nějaké podobné řešení.

[Creckx]

Já mám krom desktopu a notebooku ještě jeden stroj (P3 1000MHz, 512MB RAM) s 2x80GB disky (system v raidu 1 home v 0) a na to zálohuju homu na desktopu, home na nb, věci klientů na serveru a tátovy věci z jeho nb. Rozhodně se taková investice vyplatí.

[disorder]

no hlavne si to vyhral s tym casom umiestnenym pred datumom :D

`date +'%F_%R'` je best :P

[..]

rsnapshot

[Shadow]

Také rdiff-backup či duplicity.

[Michal Kubeček]

RAID 1 nasazujeme, abychom nepřišli o data, pokud nám selže disk. Existují ale mnohem zákeřnější hrozby než selhání disku.

Například uživatelé… :-)

[rADOn]

nektery cipy SiI 31xx pri velkych prenosech zacnou kazit data. jsou to sracky - nebrat.

[Creckx]

Ten můj Kouwell má 3512, tak doufám že to je ok. Náhodou si něco o něm neslyšel? Jen jestli ho mám střelit a koupit Adaptec se kterým jsem na serveru moc spokojený :) MD5 součty zatím sedí, ale nemám tu žádný 100GB soubor abych to vyzkoušel pořádně :(

Taky je možná otázka, jestli pisatel použlil soft raid v linuxu nebo softraid na tom řadiči.

[Shadow]

Pisatel použil sw raid v Linuxu. A chyba se projevovala i v souborech s několika MB. Součet neseděl téměř vždy u souborů o velikosti > 100MB.

[Creckx]

Tak to snad bude ok, ještě zkusím pár fajlů.

[Shadow]

Testovací soubory se vytvářejí snadno: dd if=/dev/urandom of=testfile bs=1M count=1500

Pozor na diskovou cache, tj. testovací soubor se prověřovat čtením z disku, ne z paměti, kam se samozřejmě při práci natáhne, pokud není dost veliký. Já vytvářel testovací soubory o velikosti 1,5G.

[Creckx]

Tak já protahoval zatim vdi s opensuse, mělo to 1.2GB a součet seděl. Dokonce ta md5ka byla na novym disku mnohem rychlejší než na starym.

[Pavel 'lingeek' Szalbot]

Také jsem se s tímto setkal, naštěstí ne na vlastní kůži. Utrpěla FAT tabulka, zálohovány byly jen nejnutnější data a slavný RAID tak v očích klienta dosti utrpěl.

[yuri]

mam v niekolkych poliach (vacsinou na freebsd ale je tam aj jeden linux) kopu stlab kariet na sil 3114 a nemam s nimi problem. akurat tie porty su len 4. totiz tie 2 externe sa zapinaju jumpermi ktore vypnu interna porty...

[Shadow]

Na ty jumpery bych se měl mrknout, díky za tip.