LVM x RAID1

25.1.2009 02:23 | Přečteno: 1579× | Rady

Zdravim opet pisi radeji do blogu, nez abych spamoval diskuzi. Zamerem blogspotu je rozvinout nejakou diskuzi na dane tema. Nuze pojdme do toho.

Hodlam z one-disc desktopu prejit na RAID1 desktop. A jelikoz jsem liny a mam zde docela hodne dat o ktere bych jen nerad prisel rozhoduji se jak na migraci pujdu. Jak jsem jiz napsal do nadpisu premyslim nad RAID1 nebo LVM (mirroring).

Otazkou zustava co je jednodussi a proveditelne bez toho abych musel cely disk zalhovat a instalovat cely system znovu. U RAIDU mam prakticky dve moznosti, pouzit bud integrovany radic na desce o nemz ale silne pochybuji navic se obavam ze toto reseni se bez formatu neobejde. Druhou moznosti je RAID softwarovy, ktery by si mel teoreticky s pridanim noveho disku poradit hrave. Pokud se nemilim melo by stacit disk rodelit na stejne partisny a pak jen syncnout pres mdadm. Predpokladam ze se syncne i LVM ktery na disku je.

Timto se dostavam k LVM. Napadlo me ze dalsi moznosti je vyuzit stavajici LVM ktere je naprosto funkcni. Tato moznost, tedy mirroring disku je podle meho nazoru asi nejjednodussi reseni. Proste a jednoduse pridam do existujici lvgroup dalsi disk, rodelim a nastavim mirroring.

Ma nekdo zkusenosti s nabizenymi resenimi, pripadne jinymi moznostmi? Doporucite spise RAID nebo LVM? Jak je na tom vykon LVM mirroringu v porovnani RAID1. Ocekavam totiz i navyseni rychlosti cteni z disku.

Dekuji vsem za namety.

       

Komentáře

[Let_Me_Be]

LVM + SW Raid = pomale

Jinak to co mas na desce je na 99% fakeraid, t.j. stejne to potrebuje ovladace, ktere jsou ale pomalejsi a mnohem mene spolehlive nez SW Raid.

[Ritchie]

Můžete prosím rozvést svou poněkud vágní formulaci „pomalé“? Děkuji.

[Max]

Zřejmě srovnává řadič za 10kkč se SW RAIDem v linuxu ...
Zdar Max

[Let_Me_Be]

Co ma radic spolecneho s LVM?

[trekker.dk]

Co má LVM společného se SW RAIDem?

[petr_p]

Raději doplňím, jak fake raid funguje:

Firmware diskového řadiče má zadrátovanou (obvykle proprietární) podobu metadat pro RAID, která jsou uložena na discích tvořících RAID. Kód firmwaru je zavěšený na přerušení používaném pro přístup na bloková zařízení skrze služby BIOSu a po dobu bootu (načtení zavaděče a obrazu jádra) tak skutečně plní funkci RAID řadiče.

Po nabootování operačního systému musí operační systém rozluštit ony proprietární datové struktury a na jejich základě sestavit softwarový RAID identický s tím, jak si jej představuje BIOS. Pak se už BIOS nepoužívá a vše si dělá OS sám.

V Linuxu to řeší balík dmraid, což jsou programy pro uživatelský prostor, které některé formáty metadat znají (seznam lze najít v dokumentaci a na webu projektu). Prohledají disky, a když metadata najdou, tak přes jaderný device mapper sestaví softwarový RAID. Takže to je v podstatě obdoba LVM, jen se používají jiné struktury metadat.

Z tohoto hlediska fake RAID přináší dvě výhody: máte hardwarově asistovaný přístup k poli při bootu (nemusíte řešit, zda si zavaděč rozumí s RAIDem) a rovněž můžete používat stejný RAID při dualbootu ve Windows. Nevýhodou je, že máte bootování vázané na konkrétní model řadiče disků. Stabilita a rychlost je totožná s LVM.

[Michal Kašpar]

Pokud použijete RAID, tak asi určitě SW. Kromě toho, že řadič na disku bude takový ten fake RAID máte u SW poměrně bezbolestné řešení toho, když odejde právě třeba deska (i když si teď nejsem jistý jestli se v Linuxu u těch integrovaných řadičů nepoužije stejný formát jako u SW RAIDu). Výkonnostně je SW RAID jisté zpomalení, podle giannis.stoilis.gr/md-benchmarks.txt z roku 2005 je sice rychlejší než ty integrované bazmeky, ale www.linux.com/feature/140734 ukazuje, že i v RAID10 je v o něco pomalejší než skutečny HW RAID (do kterého ale, předpokládám, investovat nechcete, nemluvě o řadě negativních zkušeností, které s HW RAID mnozí lidé mají).

Co se týká LVM mirroringu, tak je potřeba upozornit na to, že pro reálné použití potřebujete na Linuxu 3 disky (viz manuálovou stránku např. na www.linuxcertif.com/man/8/lvcreate/ a parametr mirrorlog).

 

[pele]

 

Co se týká LVM mirroringu, tak je potřeba upozornit na to, že pro reálné použití potřebujete na Linuxu 3 disky (viz manuálovou stránku např. na www.linuxcertif.com/man/8/lvcreate/ a parametr mirrorlog).

 

Dekuji toho jsem si nevsimnul.

 

[Heron]

Lze udělat i LVM mirror jen nad dvěma disky (lvcreate --corelog). Btw. o lvm chystám krátký seriál, o mirroru a stripe setu pomocí LVM se tam také zmíním.

[Nikola Ciprich]

no tak zrovna corelog asi nenni nejlepsi volba, protoze pri kazdem rebootu dojde k resyncu celeho raidu. jednodussi je proste udelat raid o malinko mensi a log hodit na jeden z disku.

[Michal Kašpar]

kazdem rebootu dojde k resyncu celeho raidu

Tak, tak. Přesně z toho důvodu jsem psal o reálném využití. To použití samostatné partition na jednom z disků není špatný nápad, ale nejsem si jistý, jak velká může být potřeba. Máte s tím nějaké zkušenosti?

Osobně mě tato vlastnost mirrou u linuxového LVM dost štve, protože flexibilita LVM + mirror oproti LVM nad RAID je někde úplně jinde.

[tomasgn]

dnes jsem s mirrorovanim na urovni LVM trosku experimentoval (LVM version 2.02.39), a protoze jsem o nekterych vecech nikde nenasel ani carku nebo jen nejasne zminky, dovolim si na chvili resuscitovat tuto diskusi.

- zarizeni pro log muze byt male a musi byt ve VG, jejiz LV chceme mirrorovat.

- pro kazdou vytvorenou logical volume se vytvori zvlastni log LV jeden o velikosti 1 LE.

- mirrorovane LV nejdou zvetsovat online, musi se nejdriv deaktivovat, tedy odmontovat souborovy system, a jak pri pouziti disk logu, tak s core logem.

takto vypada mirrorovana LV s pouzitim core logu:

ralna:~# lvdisplay -m vgtest/lvol0
  --- Logical volume ---
  LV Name                /dev/vgtest/lvol0
  VG Name                vgtest
  LV UUID                l9VvAr-6IFj-9ZdA-Q2yb-77vt-F3jG-CuU8xI
  LV Write Access        read/write
  LV Status              available
  # open                 2
  LV Size                2,00 GB
  Current LE             512
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           254:10
   
  --- Segments ---
  Logical extent 0 to 511:
    Type		mirror
    Mirrors		2
    Mirror size		512
    Mirror region size	512,00 KB
    Mirror original:
      Logical volume	lvol0_mimage_0
      Logical extents	0 to 511
    Mirror destinations:
      Logical volume	lvol0_mimage_1
      Logical extents	0 to 511

a toto je LV vytvorena s disk logem:

ralna:~# lvdisplay -m vgtest/lvol1
  --- Logical volume ---
  LV Name                /dev/vgtest/lvol1
  VG Name                vgtest
  LV UUID                e1UdqI-XCsV-0lKs-0fJx-PUPi-h3Zf-QxMqwV
  LV Write Access        read/write
  LV Status              available
  # open                 0
  LV Size                1,00 GB
  Current LE             256
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           254:14
   
  --- Segments ---
  Logical extent 0 to 255:
    Type		mirror
    Mirrors		2
    Mirror size		256
    Mirror log volume	lvol1_mlog
    Mirror region size	512,00 KB
    Mirror original:
      Logical volume	lvol1_mimage_0
      Logical extents	0 to 255
    Mirror destinations:
      Logical volume	lvol1_mimage_1
      Logical extents	0 to 255

cela VG:

ralna:~# vgdisplay -v vgtest
    Using volume group(s) on command line
    Finding volume group "vgtest"
  --- Volume group ---
  VG Name               vgtest
  System ID             
  Format                lvm2
  Metadata Areas        3
  Metadata Sequence No  7
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                2
  Open LV               1
  Max PV                0
  Cur PV                3
  Act PV                3
  VG Size               8,00 GB
  PE Size               4,00 MB
  Total PE              2049
  Alloc PE / Size       1537 / 6,00 GB
  Free  PE / Size       512 / 2,00 GB
  VG UUID               SUNKZR-5B74-KgjN-99HO-6Ahw-9gCW-XOfJ8V
   
  --- Logical volume ---
  LV Name                /dev/vgtest/lvol0
  VG Name                vgtest
  LV UUID                l9VvAr-6IFj-9ZdA-Q2yb-77vt-F3jG-CuU8xI
  LV Write Access        read/write
  LV Status              available
  # open                 2
  LV Size                2,00 GB
  Current LE             512
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           254:10
   
  --- Logical volume ---
  LV Name                /dev/vgtest/lvol1
  VG Name                vgtest
  LV UUID                e1UdqI-XCsV-0lKs-0fJx-PUPi-h3Zf-QxMqwV
  LV Write Access        read/write
  LV Status              available
  # open                 0
  LV Size                1,00 GB
  Current LE             256
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           254:14
   
  --- Logical volume ---
  LV Name                /dev/vgtest/lvol0_mimage_0
  VG Name                vgtest
  LV UUID                Mnb4Mh-y4ws-Hq4r-Nkc0-EhGt-fLTA-YjZ2vR
  LV Write Access        read/write
  LV Status              available
  # open                 1
  LV Size                2,00 GB
  Current LE             512
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           254:8
   
  --- Logical volume ---
  LV Name                /dev/vgtest/lvol0_mimage_1
  VG Name                vgtest
  LV UUID                Q6FAYg-BGEo-pMO4-LUC2-SHeX-WmBZ-kR4hz1
  LV Write Access        read/write
  LV Status              available
  # open                 1
  LV Size                2,00 GB
  Current LE             512
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           254:9
   
  --- Logical volume ---
  LV Name                /dev/vgtest/lvol1_mlog
  VG Name                vgtest
  LV UUID                05G0y5-aPVa-O4LA-t5Pl-Aui0-H1LV-dF1M6z
  LV Write Access        read/write
  LV Status              available
  # open                 1
  LV Size                4,00 MB
  Current LE             1
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           254:11
   
  --- Logical volume ---
  LV Name                /dev/vgtest/lvol1_mimage_0
  VG Name                vgtest
  LV UUID                qGjqYX-bH0C-QCog-vSVg-W0JE-MN8S-YYGPa9
  LV Write Access        read/write
  LV Status              available
  # open                 1
  LV Size                1,00 GB
  Current LE             256
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           254:12
   
  --- Logical volume ---
  LV Name                /dev/vgtest/lvol1_mimage_1
  VG Name                vgtest
  LV UUID                yj2mB3-ufKx-LIZq-XRge-QvSx-mjfy-cfQ5mu
  LV Write Access        read/write
  LV Status              available
  # open                 1
  LV Size                1,00 GB
  Current LE             256
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           254:13
   
  --- Physical volumes ---
  PV Name               /dev/loop0     
  PV UUID               LoK0EL-TE50-YeT0-FWJq-lm4K-QlUv-m4J0sX
  PV Status             allocatable
  Total PE / Free PE    976 / 208
   
  PV Name               /dev/loop1     
  PV UUID               h07NlG-CzVM-LFpC-kO1W-8AqD-gzN5-uySWsC
  PV Status             allocatable
  Total PE / Free PE    976 / 208
   
  PV Name               /dev/loop2     
  PV UUID               0qjULf-ispG-sMvD-8gy4-J1tD-f1tv-W9oD9v
  PV Status             allocatable
  Total PE / Free PE    97 / 96

[tomasgn]

- menit nastaveni mirrorlog mezi volbami disk a core lze pomoci lvconvert obema smery, LV musi byt neaktivni. pro aktivaci pak dojde vzdy k synchronizaci.

- po offline zvetseni LV dochazi vzdy k synchronizaci, pri pouziti disk logu se synchronizuje jen nova cast.

[menphis]

jj presne tak to mam. log je na jednom z disku.

[Heron]

Je na čase se zamyslet nad smyslem blogů a poradny. Dřív se flamy a offtopic diskuse odehrávaly v poradně, zavedly se tedy blogy. Dnes každý pátý blogový zápisek začíná "Do poradny se to nehodí, tak se zeptám zde...", s dotazem, který do poradny patří.

K tématu. Těžko radit. LVM je vhodnější v případě, že budeš chtít více oddílů z různým uspořádáním - mirror, stripe set (přes různý počet disků). Toto před mdadm uděláš sice také, ale musíš si to rozmyslet dopředu. LVM ti umožní si s tím libovolně hrát kdykoliv za běhu. Osobně to mám takto: Spoustu jednoduchých oddílů s daty, pak stripe set pro /home a databáze a konečně mirror pro /backup, ze kterého se to pak kopíruje na jiný stroj. Zálohovací oddíl mám zrcadlený proto, že v případě výpadku jednoho HDD v tom stroji to stačí jednoduše zkopírovat z toho /backup (vytáhnout to z druhého stroje je zdlouhavější, tam to není dělané na rychlý přístup k jednotlivým souborům).

Mirror není záloha! Takže pokud tam máš "docela hodne dat o ktere bys jen nerad prisel", tak krom mirroru ještě musíš vyřešit zálohu.

[pele]

 

 

Mirror není záloha! Takže pokud tam máš "docela hodne dat o ktere bys jen nerad prisel", tak krom mirroru ještě musíš vyřešit zálohu.

Toho jsem si vedom. Zaloha je vyresena, ale jde mi o to ze je jednodussi udelat sync nez obnovovat ze zalohy. Samozrejme jen v pripade kdyz clovek nema takvou smulu a neumrou mu oba disky najednou, nebo ve velmi kratkem casovem rozestupu.

 

[Heron]

Ono nejde ani tak o disky. Drtivá většina vytažení záloh není způsobena ani tak selhámím disků či souborového systému, ale tím, že si uživatel omylem smaže nějaké dokumenty, emaily, zavoláním DROP DATABASE na nesprávnou DB apod. Proti tomu tě R-1 neochrání.

[pele]

Jojo tohle je viice nez pravda :D

[xkucf03]

Ad "Mirror není záloha": nezkoušel jste někdo používat zrcadlení pro zálohování? Normálně pracovat jen na jednom disku a párkrát za den připojit ten druhý (třeba externí USB) a synchronizovat je.

[Heron]

Syncuju jednou denně rsnapshotem na "backup" oddíl. Rsnaphot dělá hardlinky, takže mám k disposici adresářovou strukturu určený počet dnů nazpět a přitom to zabírá jen o málo víc než zálohovaná data (vlastně jen o změny). A protože je to vlastně rsync pracovního adresáře (a ne nějaký druh komprimovaného archivu), tak lze smazaný nebo omylem změnený soubor rychle obnovit.

Pravou zálohu dělám prostým zkopírováním tohoto adresáře jinam.

[Bodyn]

Je to uz opravdu dlouho, kdy jsem tento problem resil. Na nejake strance od tvurcu LVM jsem nasel ze nedoporucuji vyuzivat LVM mirror, ze mdadm je rockstable. Takto to taky vyuzivam, Mdadm a pripadne nad nim LVM, kdyz pozadujete jeho sluzby.

[Zdeněk Štěpánek]

Sice mi moc RAID1 na doma neprijde jako moc uzitecna vec, ale chces li to....

Urcite vol SW RAID pres mdadm, to je stoprocentne proverena klasika.

Zalohovat nic nemusis. Na webu najdes kupu navodu. Ve zkratce: Na novem disku vytvoris degradovany raid 1 a naformatujes. Bootnes liveCD, z prvniho normalniho disku prekopirujes data do toho raidu. Na prvnim disku zrusis oddil a vytvoris oddil typu linur raid autodetect. Ten oddil pridas do raidu, ten se zacne synchronizovat a mas raid. Ted jeste upravit grub, /etc/fstab atd..

Zdenek

[trekker.dk]

Live CD není potřeba

Stačí vytvořit ten degradovaný RAID, naformátovat a rsyncem tam zkopírovat data (a surfovat po webu, než se to dodělá). Potom už jenom přepnout pomocí init do takové úrovně běhu, ve které neběží služby (typicky 1), znovu rsyncovat, upravit fstab a grub a rebootnout.

Proč se vlastně namáhám s psaním postupu... tady je článek Michala Čihaře

[menphis]

poradna !

[CandySan]

Delal jsem to uz vickat a za chodu - pri kazdem prevzeti serveru do me pece, nebo kdyz nejaky puvodne doplnkovy stroj se najednou stal dulezitym (to bylo v nedavnych dobach, kdy jsem nepouzival virtualizace tak mohutne).

Tedy vzdy jsem mel LVM a vic nez jeden disk.
Zvolil jsem soft raid, protoze pro mne je vyborny ve vsech smerech a predevsim tak ziskavam jednotne rozhrani - tedy nemeni se nic kdyz poridim jiny hw raid a nemusim se bat, ze se ho budu muset ucit kdyz neco selze - proto sw raid i kdyby mel nejake vady.
Vytvoril jsem raid zarizeni, keremu aktualne chybi jeden z disku (missing) a vytvoril jsem z nej pvolume (pvcreate), nasledne jsem jej pridal do vg (vgextend) a zacal jsem se zbavovat puvodniho disku (removing an old disk v LVM HOWTO - tedy pvmove).
Pak jsem puvodni partititon z puvodniho dsku odstranil a vytvoril jsem na nem taky partition typu FD a pridal do stavajiciho pole.

Vse bez restartu a na dalku na pateri a jeste k tomu vsem aplikacim a userum "pod prdeli".

LVM pouzivam zasadne vsude i kdyz jakoby "neni potreba" a to ze dvou duvodu:
1. nikdy nechci byt omezovan prvotnim rozhodnutim o velikosti oblasti
2. pouzivam zalohovani pomoci snapshotu a to je velika mazarna, kdyz to funguje obecne a naprosto spolehlive

[xkucf03]

Jaký FS používáš v souvislosti s těmi snapshoty? Zkoušel jsem XFS, ale to mi dost zamrzalo.

[CandySan]

ReiserFS - nezaznamenal jsem nikdy zadny problem