Dotaz: SATA RAID 1 na FreeBSD

[mapim]

Ahoj,

mam zrcadlene 2 SATA disky s EXT3 (BIOS RAID na ASUS MB, tusim ze je to od NVIDIe). Server byl preinstalovan na FreeBSD. Rad bych zmenil file system na UFS z EXT3. Zrcadlo je plne, a nemam nahradni terovy disk, takze dumam, jak to udelat, bez ztraty dat.

Odpojim zrcadlo. Vyberu jeden z disku, vytvorim UFS oddil. Nekam pripojim a nakopiruju data z EXT3 na UFS disk. Pak udelam to same se zbyvajicim EXT3 diskem. Nakopiruju data zpet. Mel bych mit dva UFS disky s daty. Co delat pak? Dekuji za nakopnuti

---

---

Odpovědi

[ros]

Návod na mirror: http://onlamp.com/lpt/a/6309 http://dannyman.toldme.com/2005/01/24/freebsd-howto-gmirror-system/

[jurasek]

zdar

nejlepe handbook handbook raid1

jurasek

[mato]

caf, ak som ta spravne pochopil, ty chces pouzit ten kvazi 'hw raid' co ma asus na doske, ze ? Ja mam na asus doske intelacky chipset. Problem ale je, ze to sa ti nepodari - FW toho radica zmaze oba disky, ktore chces pridat do raid1-tky. Dummy mirror ( mirror o jednom disku) nedokaze vytvorit.

Takze podla mna (ak sa ti FW sprava rovnako ako u mna) sa ti to bez tretieho disku nepodari urobit tak, ako chces ty. Horeuvedene prispevky riesia tento problem pomocou SW raidu - teda gmirror.

Takze tak ako si napisal sam - rozbit mirror, jeden disk zmazat, vytvorit UFS particiou, skopirovat data na nu, spravit mirror o jednom disku (ten UFS), zmazat druhy disk, vytvorit na nom particiu a priadat ju do gmirroru .. a cakat kym sa to syncne vsetko..

ak mas velke disky tak ten gmirror je (imho) desne pomaly a hodi sa tak akorat na mirror malej rootovskej particie .. je tu este stale moznost pouzit ZFS (je to stale experimental, ale usable), ale to uz neriesi tvoju otazku, co si sa pytal ..

[mapim]

dekuji panove za rady a pribehy :)

jo, presne, chtel bych pouzit ten "hw" raid. zfs jsem zatim nestudoval a nic o tom nevim - podivam.

nicmene mam blbe tuseni, ze budu muset nakoupit treti disk, protoze nikdo v okoli, nema tera k zapujceni :(

[dustin]

Až budeš s tím HW raidem něco potřebovat udělat, pochopíš, že pánové ti SW raid radili správně :)

[mapim]

zkusenost uz me naucila, ze manipulovat s "HW" raidem jde velmi spatne, ne-li vubec :) kdyz ja jsem byl liny.

[mato]

jj, osobne by som tiez nepouzil ten raid na doske, preto som pouzil pojem kvazi hw raid ;) gmirror je freebsd standard .. naviac pri pouziti SW raid-u nepotrebujes 3ti disk ..

nepovedal si co mas za zelezo a verziu fbsd .. ak je to nieco schopnejsie a mas 7.x tak by som si nasiel cas na ZFS ..

[mapim]

FreeBSD 7.2-RELEASE
2x CPU: Dual-Core AMD Opteron(tm) Processor 2212
1x <'WDC' WD1500AHFD-00RAR5/21.07QR5> SATA revision 1.x - system
2x <'WDC' WD10EACS-00ZJB0/01.01B01> SATA revision 2.x - "HW" RAID na data
8GB ECC RAM
MB Asus L1N64-SLI WS/12SATA/4PCIe/FW/2GLe, 2xF/2K

jdu zkusit nainstalovat ZFS :) dekuji vam za konzultaci

[mato]

Zelezo je ok .. treba si uvedomit ale, ze ZFS je experimental .. o data neprides, ale obcasny crash sa moze vyskytnut ( mne tak raz za pol roka pri velmi velkom loadne server padne) ..

skus si to najprv na necisto - pohraj sa s tym a az potom si hod svoje data tam .. napriklad na virtualnych diskoch:

# for i in 0 1; do dd if=/dev/zero of=disk${i}.tst bs=1M count=64; done
64+0 records in
64+0 records out
67108864 bytes transferred in 0.047078 secs (1425485679 bytes/sec)
64+0 records in
64+0 records out
67108864 bytes transferred in 0.041098 secs (1632893854 bytes/sec)
#

sprav si z nich virtualne disky:

# mdconfig -a -t vnode -f disk0.tst
md0
# mdconfig -a -t vnode -f disk1.tst
md1
# mdconfig -lv
md0     vnode      64M  /local/share/PORTAL/pub/test/disk0.tst
md1     vnode      64M  /local/share/PORTAL/pub/test/disk1.tst
#

a mozes sa hrat .. simulujem ako by som robil tvoj ext3 to ZFS:

# zpool create mini /dev/md0
# zpool list mini
NAME                    SIZE    USED   AVAIL    CAP  HEALTH     ALTROOT
mini                   59.5M    110K   59.4M     0%  ONLINE     -
# zpool status mini
  pool: mini
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        mini        ONLINE       0     0     0
          md0       ONLINE       0     0     0

errors: No known data errors
#

nech chces mat data v /local/data, tak nech:

1) pool nema mount point

# zfs set mountpoint=none mini
#

2) vytvorim si fs data:

# zfs create mini/data
# zfs set mountpoint=/local/data mini/data

# zfs list | grep mini
mini             147K  27.4M    18K  none
mini/data         18K  27.4M    18K  /local/data
#

skopiruj si vsetky data z ext3 sem ; ja len obrazne:

# touch yellow
# ll
total 4
drwxr-xr-x  2 root  wheel  3 Nov 11 00:19 .
drwxr-xr-x  6 root  wheel  6 Nov 11 00:18 ..
-rw-r--r--  1 root  wheel  0 Nov 11 00:19 yellow
#

a pridaj mirror:

# zpool attach mini /dev/md0 /dev/md1
# zpool list mini
NAME                    SIZE    USED   AVAIL    CAP  HEALTH     ALTROOT
mini                   59.5M    212K   59.3M     0%  ONLINE     -
#
# zpool status mini
  pool: mini
 state: ONLINE
 scrub: resilver completed with 0 errors on Wed Nov 11 00:19:56 2009
config:

        NAME        STATE     READ WRITE CKSUM
        mini        ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            md0     ONLINE       0     0     0
            md1     ONLINE       0     0     0

errors: No known data errors
#

a tvoje data su uz na mirrore .. performance hit na takychto virtualnych diskoch je poriadny, ale tak to je len test na naucenie sa ..

na ZFS prejdi ale az ked budes v tom viac zbehly ..

[mapim]

Děkuji, Mato. Dotaz jsem kopnul na opensolaris a tu je dokaz:

http://www.opensolaris.org/jive/thread.jspa?threadID=117631&tstart=0

ještě jsem dostal tip na Hammer FS od DragonflyBSD, co si o něm myslíte? Mě se tam moc nelíbí

Requires a pruning/reblocking cron job run a few minutes every night to incrementally clean up and regain space on the filesystem. Does not yet support multi-master configuration.

[mato]

hm, hammerfs nepoznam, neviem posudit

[mapim]

to jsem blazen, an jsem si nevsiml, ze jsem mel naloadovane zfs.ko a opensolaris.ko...nebo se to naloadovalo samo, po spusteni prikazu zpool...?

kazdopadne, bych se chtel ted jeste jednou ujistit, jestli postup, ktery udelam je spravny.

vytvorim (napriklad podle tohoto navodu http://www.ish.com.au/solutions/articles/freebsdzfs) jeden ZFS disk nakopcim na nej data z EXT3 vytvorim na druhem ZFS a pak jej podle jiz zmineneho navodu dam do ZFS "SW" raidu. Je tak?

[mapim]

jeste doplnujici dotaz. kdyz zrusim "HW" raid po krocich, ktere jsem jmenoval, stane se neco s daty?

[mato]

jj, ak nie su loadnute moduly tak pri prvej manipulacii so ZFS sa automaticky loadnu

[x]

Mozna by ti mohl napovedet tenhle nadherny pribeh z realne praxe Zkusenosti s krapy znacky Adaptec

Kdyz ted preskocim pribeh, tak se proste vykasli na ty HW zmetky plne chyb a pouzij neco jako SoftRaid . Predpokladam, ze FreeBSD ma taky nejakou takovou SW implementaci co jde pouzit napr. i na jednom fyzickem disku pro kryptovani partitions.

[mapim]

Na obou dyscích jsou stejná data. Na jednom je ZFS a na druhém EXT3. Velmi zajímavé výsledky obsazení místa. Jen nechápu (asi jsem nepozorně četl :) proč nástroj pool ukazuje volného místa 111GB a nástroj zfs 96,2GB?

sangha# mount
/dev/ad4s1a on / (ufs, local)
devfs on /dev (devfs, local)
/dev/ad4s1d on /usr (ufs, local, soft-updates)
/dev/ad6s1 on /mnt/home-disk (ext2fs, NFS exported, local)
procfs on /proc (procfs, local)
/dev/ad10s1 on /mnt/raid (ext2fs, NFS exported, local)
data on /data (zfs, local)

sangha# df -h
Filesystem     Size    Used   Avail Capacity  Mounted on
/dev/ad4s1a    1.4G    575M    757M    43%    /
devfs          1.0K    1.0K      0B   100%    /dev
/dev/ad4s1d    126G     48G     69G    41%    /usr
/dev/ad6s1      73G     69G    791M    99%    /mnt/home-disk
procfs         4.0K    4.0K      0B   100%    /proc
/dev/ad10s1    917G    815G     56G    94%    /mnt/raid
data           913G    817G     96G    89%    /data

sangha# zpool list
NAME                    SIZE    USED   AVAIL    CAP  HEALTH     ALTROOT
data                    928G    817G    111G    88%  ONLINE     -

sangha# zfs list
NAME   USED  AVAIL  REFER  MOUNTPOINT
data   817G  96.2G   817G  /data

sangha# du -sch /mnt/raid/
815G    /mnt/raid/
815G    total

sangha# du -sch /data/raid/
817G    /data/raid/
817G    total

[mato]

nad ZFS pouzivaj zfs commandy .. su to diametralne rozlisne FS, rozdiely su pochopitelne ..

na sun.com su pekne tutorialy, medzi nimi aj tutorial na ZFS .. nemozem ti pastnut linku, lebo sa treba zaregistrovat (free). regni sa tam a pozri si rozne tutorialy ..

a inak vychodiskova stranka pre ZFS@fbsd je: ZFS wiki @ freebsd

este jedna dobra rada, ja som sa bohuzial na nej popalil .. neviem ci som bol pod linuxom alebo fbsd, ale kopiroval som z reiserfs->UFS data .. ~ 1TB, nehal som to bezat cez noc .. na prvy pohlad vyzeralo vsetko ok, zdalo sa, ze data su skopirovane ok .. a az neskoro som zistil, ze to skopirovalo uplne kraviny (sice dir tree vyzeral spravne, ale samotne data boli len blobs - ziadne realne data).

Mozno by stalo za to vygenerovat pre kazdy skopirovany subor hash na oboch diskoch a porovnat ich ..