RAID čili ochrana počítače proti komárům

17.7.2007 22:35 | Přečteno: 2233× | Moje domácí muzeum :) |

Z diskuze pod minulým zápisem do blogu vyplynulo, že HW RAID na mojí desce je čirá reklamština a tak přišel onen okamžik, kdy vytvořím SW RAID. Třeba ten postup někomu k něčemu bude ...

Shrnutí výchozí situace

V počítači mám t.č.:

2x identický SATA disk na data - tam budeme RAIDOVAT

1x PATA 80 GB se systémem(y)

připravenou 1x PATA pozici jako šuplík
Vzhledem k tomu, že t.č. nemám volný napájecí kabel tak je 80 GB disk v šuplíku :(
Čili disky jsou následující:

SCSI device sda: 156301488 512-byte hdwr sectors (80026 MB) To je ta PATA 80 GB
SCSI device sdb: 625142448 512-byte hdwr sectors (320073 MB) SATA #1
SCSI device sdc: 625142448 512-byte hdwr sectors (320073 MB) SATA #2
sr0: scsi3-mmc drive: 48x/48x writer dvd-ram cd/rw xa/form2 cdda tray

Na sda je spousta "malých" oddílů, na sbd jedna zkušení FAT32 partišna.

Příprava disků a oddílů na nich

Po přečtení řady tutorialů (tady na ABC, od gentoo, na cihar.com i jinde) jdu na věc:
0. přečíst výše uvedené dokumenty + man mdadm
1. Kompletní záloha Ubuntu na sda, aby bylo kam se vrátit, kdyby(ch) něco nevyšlo(zvoral)
2. instalace doporučovaného smartmon (detekce hrozícího pádu disku) a mdadm z oficiálního Ubuntu repozitáře
3. rozmyšlení a vytvoření potřebných partition. Po delší chvíli meditací jsem se rozhodl takto:

/usr 15 GB XFS - pocit sucha a bezpečí
/var 10 GB reiserfs - přeci jen se zapisuje častěji
/tmp 5 GB reiserfs
/home a další 2 pro data po 39 GB

Po nastartování se ale disky (ve srovnání s tím, co psalo jádro potažmo dmesg) "zázračně" přejmenují:

Disk	dmesg	mount	cfdisk
PATA 80 GB	sda	sdc	sdc
SATA #1	sdb	sda	sda
Sata #2	sdc	sdb	sdb

Takže s ohledem na toto "spestření"budeme partitionovat sda+sdb a to v mém případě s trochou rezervní "nárazníkové zóny :)", neboť se mi na nich ještě válí NTFS partišna, kterou se mi zatím nechce rušit. Takže cfdisk, typ všem na Linux raid autodetect, neboli fd.

Doporučuje se RAIDovat i swap - pokud by byla naswapovaná data na havarovaném disku, tak to systém pravděpodobně nerozdýchá a RAID opět trochu ztrácí smysl, ale v tomto kroku ještě budu rád, že jsem rád, možná později.

Takže když je to v cfdisku hotové uložíme, cfdisk má nějaké hemzy o re-read error, tak si to pro kontrolu vypíšeme:

# fdisk /dev/sda -l

Disk /dev/sda: 320.0 GB, 320072933376 bytes
255 heads, 63 sectors/track, 38913 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1        3824    30716248+   7  HPFS/NTFS
/dev/sda3            6257       19386   105466725    5  Extended
/dev/sda5            6257        7472     9767488+  fd  Linux raid autodetect - 10 GB reiser /var
/dev/sda6            7473        9296    14651248+  fd  Linux raid autodetect - 15 GB xfs /usr
/dev/sda7            9297        9904     4883728+  fd  Linux raid autodetect - 5 GB reiser /tmp
/dev/sda8            9905       14645    38082051   fd  Linux raid autodetect - /home xfs
/dev/sda9           14646       19386    38082051   fd  Linux raid autodetect - další data xfs

Pořadí není zcela náhodné, /var jsem dal kousek dál od /tmp proto, aby měl systém tendenci číst /var z jednoho a /tmp z druhého disku. Dopad na výkon bude asi zanedbatelný, ale když už se s tím vymýšlím ...

Trochu je otrava, že teď musím RUČNĚ udělat totéž s druhým diskem, ale vymýšlet skript na 5 oddílů se fakt nevyplatí . No a když je hotovo, tak si to ještě jednou zkontroluji:

fdisk -l /dev/sda >sda
fdisk -l /dev/sdb|sed -e s/sdb/sda/g >sdb
diff sda sdb

Nic to nepíše, rozdělil jsem to správně

Vytvoření RAID - mdadm v akci

mdadm -C /dev/md5 -l 1 -n 2 /dev/sda5 /dev/sdb5

-C = create

/dev/mdX - vytváření RAID zařízení, snažím se udržet číslo odpovídající /dev/sdaX

-l 1 = vytváříme RAID 1

-n 2 = mám 2 disky, mezi kterými se bude RAIDovat - později lze změncat /proc/mdstatit

-c chunk nenastavuji, nechávám na implicitní velikosti 64 kb, myslím že to (snad) je rozumný kompromis, navíc snad vědí proč to dávají jako implicitní nastavení .

mdadm: largest drive (/dev/sda5) exceed size (9767424K) by more than 1%
Je to divné, protože výpisy fdisku jsou identické. Zkusím restart, jestli nepomůže ... Hmm, ačkoliv příkaz odmítnul "doproběhnout" , tak

cat /proc/mdstat

píše resync ... no a takhle to už má vypadat:

# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md5 : active raid1 sdb5[1] sda5[0]
      9767424 blocks [2/2] [UU]
      
unused devices: < none >

Tak ještě systémy souborů ne ?

S optimismem jsem zkusil zadat mkfs a zjistil jsem, že v Ubuntí základní instalaci není xfsprogs :( .. Takže závěrečné

# mkfs.xfs /dev/md6
meta-data=/dev/md6               isize=256    agcount=16, agsize=228924 blks
         =                       sectsz=512   attr=0
data     =                       bsize=4096   blocks=3662784, imaxpct=25
         =                       sunit=0      swidth=0 blks, unwritten=1
naming   =version 2              bsize=4096  
log      =internal log           bsize=4096   blocks=2560, version=1
         =                       sectsz=512   sunit=0 blks
realtime =none                   extsz=4096   blocks=0, rtextents=0

#mkfs.reiserfs /dev/md5
mkfs.reiserfs 3.6.19 (2003 www.namesys.com)

A pair of credits:
The  Defense  Advanced  Research  Projects Agency (DARPA, www.darpa.mil) is the
primary sponsor of Reiser4.  DARPA  does  not  endorse  this project; it merely 
sponsors it.

Lycos Europe  (www.lycos-europe.com)  had  a  support  contract  with  us  that
consistently came in just when we would otherwise have missed payroll, and that
they kept doubling every year. Much thanks to them.


Guessing about desired format.. Kernel 2.6.20-15-generic is running.
Format 3.6 with standard journal
Count of blocks on the device: 2441856
Number of blocks consumed by mkreiserfs formatting process: 8286
Blocksize: 4096
Hash function used to sort names: "r5"
Journal Size 8193 blocks (first block 18)
Journal Max transaction length 1024
inode generation number: 0
UUID: c0881aac-11b4-4bfa-8b38-5d3533c6a13c
ATTENTION: YOU SHOULD REBOOT AFTER FDISK!
        ALL DATA WILL BE LOST ON '/dev/md5'!
Tell your friends to use a kernel based on 2.4.18 or later, and especially not a
kernel based on 2.4.9, when you use reiserFS. Have fun.

ReiserFS is successfully created on /dev/md5.

Tak vám to s tím jádrem říkám

/dev/md5 on /mnt/tmp/5 type reiserfs (rw)
/dev/md6 on /mnt/tmp/6 type xfs (rw)
/dev/md7 on /mnt/tmp/7 type reiserfs (rw)
/dev/md8 on /mnt/tmp/8 type xfs (rw)
/dev/md9 on /mnt/tmp/9 type reiserfs (rw)

Závěr

Moje počáteční fóbie ze SW RAIDu byla zcela zbytečná, opravdu to jde a bezbolestně. A ten falešný pocit bezpečí ... (klid, já vím, že RAID!=záloha).

P.S.: Jenom jsem nepochopil, jestli při havárii disku /dev/sda mám dát mdadm /dev/md1 -a

/dev/sdax

nebo

sdbx

... Ale doufám, že to jen tak nebudu potřebovat

P.P.S: Když jsem namountoval /tmp se zkopírovanými daty,tak mi záhadně přestala běhat Xka, respektive gdm něco blábolil o právech ... zkusil jsem mu přejmenovat pár souborů, ale nepomohlo to, tak jsem to prozatím vzdal a nechal /tmp původní ...        

Komentáře

[Creckx]

Gratuluji.. taky jsem jeden takový měl... než se složil :)

[xxx]

Nestačilo tu partition table z toho jednoho disku přenést na ten druhý tak, že by jsi pomocí dd zkopíroval prvních 512kB?

[Michal Kubeček]

Nestačilo, v prvním sektoru disku je pouze základní tabulka obsahující primární partitions (případně extended). Cokoli od pětky dál je jinde. Ale nějaký nástroj na odzálohování (a obnovení) celého rozdělení disku existuje také.

[majkl]

Ja to okopcil timhle: sfdisk -d /dev/sda | sfdisk /dev/sdb

viz: http://www.czela.net/wiki/index.php/RAID1

[Michal Kubeček]

Ano, to by mohlo fungovat.

[Michal Kubeček]

Teď jsem si teprve všiml, že tam máte 512 kB a ne 512 B, jak jsem automaticky četl. Ale odpověď by stejně zněla ne.

[Jardík]

práva /tmp:

chmod a+rwx,+t /tmp

[cezz]

RAID na swap aj pre desktop?

Ja osobne som na domacom desktope nechal swap na oboch diskoch samostatne. (pokial viem, jadro dokaze celkom efektivne vyuzit oba disky zaroven) Pad disku samozrejme moze a pravdepodobne aj zhodi cely system, kazdopadne parminutovy vypadok na desktope zas nie je taka tragedia. (resp. myslim, ze za rychlejsi swap sa oplati)

Opravte ma niekto, ak sa mylim

.

[Semo]

Pokail maju swapy rovnaku prioritu (co default tusim nemaju, treba to mat v fstab), tak jadro robi nieco ako RAID 0 na swapmi. Mam to tak, disky mi neodhnivaju zase tak casto, aby som sa toho nejak extra bal.

/dev/hda2    swap    swap    sw,pri=1   0 0
/dev/sda2    swap    swap    sw,pri=1   0 0

[Jiří Lisický]

Pak se ještě musí používání swapu vypnout a znova zapnout (předpokládám, že swap se zrovna nepoužívá):

# swapoff -a
# swapon -a

[Josef Kufner]

Hmm... jak moc je aktuální ta věc se swapem na komprimovaném ramdisku?

[Semo]

Pouzivas komprimovany ramdisk ako swap? Nechce sa ti trocha "rozkecat"? Ako to funguje, kolko mas pamate, kolko si vyhradil na ramdisk, s cim to ma problemy a pod.

[Jan Kurik]

A jak moc ma smysl davat swap na ramdisk ?

[Semo]

Obycajne ramdisk asi nema vyznam, len by si nabural heuristiku, kolko pamate nechat aplikaciam a kolko pre diskovu cache (pridal by si vlastne aplikaciam, kedze tie by do ramdisku mohli ist, ale cache sa neswapuje). V tomto ale jadru celkom doverujem, takze to by som nerobil.

Ale ak by si ho komprimoval, tak si vlastne "zvacsis" pamat, na ukor toho, ze cast z nej (prave ten komprimovany ramdisk) je o nieco pomalsia. Ale pri dnesnom vykone procakov, by to asi este stale bolo vyrazne rychlejsie skomprimovat do ramdisku, nez ukladat na disk.

[Filip Jirsák]

Ovšem pro dekompresi je zase nutná paměť, takže část dat je v paměti sice komprimovaná, ale část zase dvakrát…

[Petr]

jj, jedinej system o kterym vim ze se u nej ramdisk vyplati sou windows. Jde o to, ze win jaxi z principu prace s pameti museji mit swap. Kdyz sem u win98 dal swap na ramdisk a zamknul jeho velikost, bylo to na rychlosti systemu brutalne znat. W2k a XP sem uz nezkousel.

[otula]

Možná, že se mýlím, ale ve Windows existuje volba Nepoužívat swap, která by dle mne měla sloužit k tomu, aby se využívala pouze RAM.

[ja]

Ještě tam chybí

sudo echo "DEVICE partitions" > /etc/mdadm/mdadm.conf
sudo mdadm --detail --scan >> /etc/mdadm/mdadm.conf