LVM2 - dynamické vytváření diskových oddílů

26. 9. 2007 | Milan Cingroš

Články - LVM2 - dynamické vytváření diskových oddílů  

LVM slouží k vytváření a úpravám diskových oddílů za běhu systému. Článek obsahuje základní popis LVM2 (Logical Volume Manager) a podrobný návod pro začátečníky. Krok za krokem je vysvětleno, jak s LVM pracovat, a současně na příkladu ukázáno, jak vytvořit 20GB a 140GB logické oddíly na 60GB a 100GB discích.

Úvod

LVM dnes existuje ve dvou verzích: LVM1 a LVM2. V tomto článku se budu zabývat LVM2. Podpora LVM1 byla v jádrech řady 2.4 a LVM2 je v jádrech řady 2.6, ale existují i LVM2 patche pro současná jádra 2.4.

Možné případy využití LVM:

• Při instalaci Linuxu na nový počítač nevíme, jak velké diskové oddíly budeme potřebovat.
• Postupně vytváříme virtuální počítače a vždy potřebujeme novému přidělit diskový oddíl pro data a swap.
• Potřebujeme přidávat a odebírat oddíly, měnit jejich velikost, přesouvat je mezi fyzickými disky i s daty.
• Chceme využívat výhody snapshotů (kopie diskového oddílu "zmrazená" v čase vytvoření), v LVM2 je možné po vytvoření snapshotu zapisovat do originálního oddílu i do snapshotu, v LVM1 je snapshot pouze pro čtení.
• Vždy, když nedokážeme přesně naplánovat potřebný počet a velikost diskových oddílů.
• Místo na nově koupeném disku chceme přidat k existujícím diskovým oddílům (ne jen připojit do /mnt/novy_disk).

Určitě se najdou i jiné možnosti.

Struktura LVM

Fyzické oddíly (PV - physical volume)

Než použijeme LVM, máme disky a na nich vytvořené (např. nástrojem fdisk) diskové oddíly. Fyzické disky jsou v Linuxu obvykle označeny hda, hdb, atd., případně sda, sdb, atd. a fyzické diskové oddíly ještě navíc číslem (hda1, hda2, sdb1, atd.). Mezi fyzickými disky není možné přesouvat volné místo a mezi fyzickými diskovými oddíly jen s obtížemi. Zde nastupuje LVM. Určíme fyzické diskové oddíly, které bude LVM používat a tím vznikne LVM fyzický disk/diskový oddíl (PV - physical volume).

Skupiny fyzických oddílů (VG - volume group)

Dalším krokem je tyto fyzické diskové oddíly spojit do skupiny disků/diskových oddílů (VG - volume group). Tato skupina bude obsahovat volné místo ze všech spojených fyzických diskových oddílů. Ve skupině musí být minimálně jeden fyzický diskový oddíl (zejména na menších systémech se používá pouze jeden). Když jsme všechno určené místo sloučili, nezbývá než ho opět rozdělit.

Logické oddíly (LV - logical volume)

Výsledkem našeho snažení budou logické diskové oddíly (LV - logical volume). Při dělení si můžeme vybrat ze dvou obvyklých postupů. První postup je rozdělit veškeré dostupné místo a, pokud nám časem toto rozdělení přestane vyhovovat, budeme volné místo přesouvat z jednoho logického oddílu do jiného (např. souborové systémy ext3 a reseirFS umožňují zvětšování i zmenšování). Druhý postup je vytvořit oddíly jen tak velké, jak potřebujeme, a zbylé volné místo časem přidáme, kam bude třeba. U některých souborových systémů je možný pouze tento postup, protože neumožňují zmenšení, ale pouze zvětšení (jfs, xfs). Druhý postup je obvyklý i pro postupné vytváření virtuálních počítačů. Pro nový virtuální počítač vytvoříme jeden logický oddíl pro data (root oddíl) a druhý pro swap (případně ještě další logické oddíly). V případě potřeby můžeme tyto oddíly zvětšovat a tím přidávat virtuálním počítačům další místo na disku.

Základní použití LVM (rychlé zprovoznění)

Už víme teoreticky, jak LVM funguje, a teď si ukážeme, jak vše vytvořit v praxi.

Inicializace fyzického diskového oddílu

Vytváření fyzických oddílů není obsahem tohoto článku, mohu jen doporučit nástroj fdisk. Je možné použít i celý disk (na obrázku sdb), ale to se nedoporučuje. Operační systémy, které nepodporují LVM, budou disk nerozdělený na fyzické diskové oddíly považovat za prázdný a hrozí zde ztráta všech dat. Pokud chceme použít celý fyzický disk, je lepší na něm vytvořit jeden fyzický oddíl přes celý disk (na obrázku sdb1). Ten bude ostatními systémy považován za neznámý. V tuto chvíli předpokládám, že máme vytvořené fyzické diskové oddíly. Inicializace diskového oddílu se provede příkazem pvcreate. Jako parametr uvedeme jeden nebo více diskových oddílů. Fyzické diskové oddíly na obrázku inicializujeme příkazem

pvcreate /dev/sda2 /dev/sdb1

Tímto příkazem inicializujeme pro LVM druhý fyzický oddíl disku sda a první fyzický oddíl disku sdb. Informace o všech inicializovaných oddílech zobrazíme příkazem pvdisplay (jako parametr můžeme zadat jeden nebo více fyzických oddílů, o kterých chceme informace zobrazit).

Vytvoření skupiny diskových oddílů

Fyzické oddíly připravené v prvním kroku spojíme do skupiny diskových oddílů příkazem vgcreate. První parametr tohoto příkazu je název nové skupiny a další parametry jsou spojované fyzické oddíly. Skupinu diskových oddílů data na obrázku vytvoříme příkazem

vgcreate data /dev/sda2 /dev/sdb1

Pokud nechceme žádné speciality, skupina oddílů bude jen jedna. Informace o existujících skupinách oddílů zobrazíme příkazem vgdisplay (jako parametr můžeme zadat jednu nebo více skupin oddílů, o kterých chceme informace zobrazit). Z tohoto výpisu zjistíme i velikost celé skupiny a zbývající volné místo, které ještě není přiděleno žádnému logickému oddílu.

Vytvoření logického diskového oddílu

Skupinu oddílů máme vytvořenou, nastal čas volné místo rozdělit na logické diskové oddíly. Po přečtení předchozího textu už zajisté tušíte, že logické oddíly se budou vytvářet příkazem lvcreate. Parametr -L je velikost vytvářeného logického oddílu v megabytech, název oddílu se určí parametrem -n a poslední parametr je název skupiny oddílů, kde bude logický oddíl vytvořen. Příkazem

lvcreate -L20000 -nmp3 data

vytvoříme 20GB diskový oddíl s názvem mp3 ve skupině oddílů data. Nový logický diskový oddíl bude /dev/data/mp3. Logický oddíl filmy vytvoříme příkazem

lvcreate -L140000 -nfilmy data

Z obrázku je vidět, že máme dva fyzické disky o velikosti 100 GB a logický oddíl filmy má 140 GB, což znamená, že používá místo z obou fyzických oddílů (sda2 a sdb1). Přesnější určení přidělovaného místa je možné použitím PE (physical extent) místo MB. V tomto článku nebudeme rozebírat, co to je, ale MB určené parametrem -L se přepočítají na PE, které můžeme přímo určit parametrem -l.

Vytvoření souborového systému a připojení logického oddílu

Poslední krok před připojením logického oddílu je vytvoření souborového systému. Vybraný souborový systém (ext3, reiserFS, ...) vytvoříme způsobem obvyklým pro použitou distribuci Linuxu (např. mkfs.ext3, mkfs.reiserfs, ...). Souborový systém ext3 na novém logickém oddílu vytvoříme příkazem mkfs.ext3 /dev/data/mp3. Nový logický oddíl připojíme příkazem mount /dev/data/mp3 /cesta/kam/připojit.

Závěr

Nový logický disk máme připojený a nezbývá než upozornit, že pokud použijeme LVM i pro oddíl, ze kterého se zavádí systém (/boot), můžeme se dostat do problémů s bootem, protože zavaděče systému nemusí LVM zvládat. Kořenový souborový systém (/) může být i logický (LVM) oddíl, ale initrd musí obsahovat podporu LVM. V distribucích, se kterými jsem pracoval, skript mkinitrd už s LVM počítal.

Diskuse k tomuto článku

[Martin Beránek]

Takže bude další díl? Nevidím tu zvětšování (zmenšování) LV...

Druhý dotaz: nějak nechápu princip těch snapshotů? Je to něco podobného jako snapshot třeba ve vmware?

[Michal Kubeček]

V podstatě ano, ale je to samozřejmě snapshot jen obsahu příslušného blokového zařízení, ne celého systému.

[Michal Ludvig]

Zvětšování VG (např. po přidání nového disky do systému): vgextend

Zvětšování LV (např. když dochází místo na jednon LV) pokud ve VG je ještě volno: lvextend případně s parametrem --resizefs

Myslím že na další díl by to nevydalo. Teď když už víte co je PV, VG a LV tak si pročtěte výstup příkazu lvm help a uvidíte že na LVM nic složitého není.

[Tom.š Ze.le.in]

Pár témat by se našlo - občas se někdo v poradně ptá na mirroring pomocí LVM, případně na sladění s md. Zajímavé by také byly praktické zkušenosti a doporučení pro nastavování stripingu. Nebo čeho můžeme dosáhnout v lvm.conf.

[petr_p]

Chtělo by to popsat, kde je uložena konfigurace (tj. jestli potřebuji VFS pro sestavení VG/LV), jak LVM2 identifikuje a vyhledavá PVs (název zařízení nebo UUID, co když zpřeházím hard disky), jak se určuje, z kterých PEs bude tvořen LV (třeba chci vyměnit hard disk, nebo mít tato data na tomto rychlejším disku), kdo vyrábí bloková zařízení v /dev/data (lvcreate nebo udev).

Článek je dobrý návod jak vyrobit LVs, ale o následné správě tu nic není.

[Milan "Nemo" Cingroš]

Článek měl být jen návod na vytvoření LVs. Během příštího týdne začnu pracovat na pokračování.

[Cohen]

Super, díky. Už se těším.

[Petr]

Též se těším. Rozhodně bude užitečné pokud přibudou ještě nějaké příklady zmenšování zvětšování a tak, přidávání či ubírání fyzických a logických disků či partition. Při instalaci se mi LVM nabízí už dlouho. Vždy jsem se ale trochu bál do toho jít. Nicméně vypadá to velmi užitečně.

[StefanV]

Lze získat z poškozeného LV nějak data, nebo popřípadě opravit??

Jednou mi na virtuálním stroji padl / a nemohl jsem ho již nijak detekovat. Jelikož to nebyl důležitý server tak jsem ho znovu nainstaloval a dále neřešil.

[Věroš]

Čekal bych, že to půjde (popis implementace LVM je v jádře). Ale množství práce vynaložené na zálohování bude určitě menší, než množství práce vynaložené na záchranu dat.

[Milan Brož]

Pokud mate zalohy metadat, jde to jednoduse tak, ze obnovite metadata. "man vgcfgrestore"

Standardne se ukladaji v /etc/lvm, v lvm.conf lze zmenit (zalohovat, pripadne ukladat na jiny disk).

V nejhorsim pripade se daji z metadat precist informace, kde se LV nachazel a zkusit to obnovit rucne (casem snad bude i nekde popis jak

[StefanV]

Výborně díky, pro příště už vím jak na to. Možná to hned na jednom stroji zkusím.

[Twin]

Pekny clanek na strankach IBM

[stulda]

Uvazuji o pouziti lvm2 v kombinaci se softwarovym raidem a zajimalo by me: 1) jestli ma lvm2 (+swraid) nejaky negativni vliv na vykon disku nebo ne. 2) je problem bootovat z takto vytvoreneho disku, mam radeji /boot nechat klasicky bez raidu a vlm2?

[Věroš]

1) když jsem LVM nasazoval, tak jsem se o výkon taky zajímal. Nějaké benchmarky jsem v mailing-listech taky našel a v podstatě: LVM sice přidává nějakou režii (v nějakém extrémním případě to bylo až 10%, jinak v jednotkých procent), ale bohatě to vyvažuje svými možnostmi - zejména přehledností správy. Při použití LVM člověk není omezen např. 16 oddíly na zařízení; zařízení má pojmenovaná tak, jak potřebuje a nemusí přemýšlet, kam připojit zařízení /dev/sda12; konečně má možnost udělat si snapshot zařízení, a jiná pozitiva.

Záleží potom, jestli ti záleží na hrubé diskové propustnosti nebo na spravovatelnosti. Pro jeden počítač je LVM IMHO zbytečné, ale pokud začneš vytvářet virtuální stroje (např. via XEN), tak bez LVM bych nedáš ani ránu (nebo máš nějaký lepší storage ).

[Milan Brož]

Pri konfiguraci MD sw raid a nad tim LVM muze byt vykon trochu nizsi, z nekolika duvodu:

1) LVM nenastavi dostatecne velky readahead, coz muze ovlivnit vykonnost sekvencniho cteni, zejmena pro RAID0. (neni problem jej ale zvetsit rucne napr. pomoci blockdev --setra ...)

2) momentalne jsou v kernelu jista omezeni, ktera zpusobi, ze nektere IO operace se musi provadet po castech (velikost io operace pro takto vrstvene zarizeni je omezena velikosti stranky)

Oboji ma jiz sve reseni, jen to chvili bude trvat nez se dostane do stabilniho jadra/LVM nastroju.

[msk]

Stale nechapem, ako funguje zmensovanie LVM. Majme 2 disky hda, hdb ( po 120GB ), nad ktorymi je LVM s ext3 ( dohromady 240GB ). Dajme tomu, ze je zaplnenych len 20GB a ja chcem zrusit hdb. Ako sa resizne ten filesystem? Postara sa o to priamo lvm? Ako bude zarucene, ze data z hdb sa presunu na hda?

[Věroš]

nejdřív změnit velikost filesystému (ten uvolní místo na konci blokového zařízení) a potom teprve změnit velikost toho blokového zařízení (to se taky zmenší od konce).

[msk]

To ma napadlo tiez, ale problem to neriesi. Co ked budem chciet odstranit hda?

[Věroš]

- Změnit velikost LV, tak aby se dala uvolnit patřičná PV

- vyprázdnit PV ( pvmove )

- odstranit PV

PS: Je to v návodu.

[marekb]

Doporucuji ke shlednuti zaznam prednasky Milana Broze z Linuxoveho vikendu:

http://www.avc-cvut.cz/avc.php?id=4714

[Milan Brož]

... kdyby nekdo mel zajem, slajdy jsou tady

http://mbroz.fedorapeople.org/talks/lvm-weekend07.pdf

[Věroš]

Pro lenochy je dobré ještě znát příkazy lvs, pvs, vgs.

root@kryten:~# pvs
  PV         VG    Fmt  Attr PSize   PFree 
  /dev/md1   dwarf lvm2 a-   182.54G 56.95G
root@kryten:~# lvs
  LV           VG    Attr   LSize   Origin Snap%  Move Log Copy% 
  holly-disk   dwarf -wi-ao  40.00G                              
  holly-swap   dwarf -wi-ao   1.00G                              
   ...
  toaster-disk dwarf -wi-a-  10.00G                              
  toaster-swap dwarf -wi-a- 256.00M                              
root@kryten:~# vgs
  VG    #PV #LV #SN Attr   VSize   VFree 
  dwarf   1  12   0 wz--n- 182.54G 56.95G

[CIJOML]

Bootuju s lilem primo z LVM a zadnou obezlickoidni partition nepotrebuju. Autor by mel jeste chvili procitat manualy nez prohlasi s takovou razanci takovou hloupost.

[Michal Kubeček]

Taky se mi to nějak nezdálo, ale říkal jsem si, že si to nejdřív vyzkouším prakticky…

[Milan "Nemo" Cingroš]

Děkuju za upozornění, chyba v článku je už opravená.

[SAL]

Chcelo by to dalsi clanok. Hlavne by ma zaujimali tieto veci:

  - prakticke zmensenie/zvacsenie filesystemu ext3 a nasledne particie LVM
  - ukazka prace so snapshotmi (raz som to skusal, ale velmi sa mi nedarilo)
  - mirroring (tusim to uz niekto spominal).

Dalej je mozne nieco take, ze mam LVM particiu na 2 strojoch a za behu systemu by som rad zosycnhronizoval ich obsah a nasledne presunul virtualny stroj Xenu z jedneho na druhy. Uvazoval som o mirrore cez RAID + ATA over ethernet, vcelku by to nejak slo, ale mozno by to bolo krajsie cez LVM.

[misch]

Bohužel jsem před krátkou dobou narazil hned na dva problémy související s LVM2 (jádro 2.6.22 z Fedory 6):

a) on-line zvětšení VG s ext3 filsystémem funguje bezvadně, dokud není potřeba zvětšit filesystém na tolik, že už se musí zvětšit i velikost žurnálu. Pak resize2fs ani ext2online nezafungují, a musí se resizovat offline :( To sice nesouvisí s LVM jen okrajově, ale ... resize je samozřejmě jedním z důvodů proč člověk LVM používá.

b) /usr připojený přes /dev/vg0/usr, a současně i existující _přeplněný_ snapshot téhož LV. Zdánlivě se nic neděje (/usr funguje, pouze snapshot není provozuschopný, což je logické). Problém nastal při rebootu. Mount nebyl schopen připojit /usr, protože "inteligentní" LVM2 driver se rozhodl že když nefunguje snapshopt, tak nebude fungovat ani LV ze kterého je odvozený. Pěkný popis této chyby je tady.

To jen pro pobavení, že není všechno tak jednoduché jak se zdá :)

[Michal Kubeček]

Ad a: nejde spíš o ten parametr, který nastavuje při vytváření filesystému pomocí '-E resize=...'? Tak či onak bych to považoval spíš za problém ext3 než LVM - podle vašeho popisu to dopadne naprosto stejně i v případě, že půjde místo logical volume o obyčejnou partition.

[misch]

Jasne, tohle neni samozrejme problem LVM. Ale bez LVM se clovek k on-line resizovani partition tak snadno nedostane, protoze bezna diskova partition se moc snadno za behu zvetsit neda.

Tzn. ten problem existuje bez ohledu na LVM, ale teprve s nim na nej clovek pravdepodobne narazi.

[Milan Brož]

ad b)

ano, to byla chyba. neslo aktivovat LV, u nehoz existoval preplneny snapshot. Je opraveno v kernelu >= 2.6.23*, 2.6.22.2, 2.6.20.17

[misch]

Uff, dik za presnou informaci! Konecne vim na kterou verzi jadra se mam snazit upgradovat.

[xm]

Jak je na tom LVM2 s výkonem (hlavně rychlost čtení, ale i zápisu)? Na nějakém mailing-listu jsem kdysi četl nějaký benchmark z kterého vycházelo, že při použití LVM2 dochází ke snížení rychlost diskových operací až o třetinu! To mi přijde šílené... pokud by to bylo třeba 5%, dalo by se to ještě snést, ale cokoliv většího považuji za neúnosné.

Jak je na tom LVM2 s výkonem dnes?

[Palo]

Temy na dalsie pokracovanie: - Presunutie diskov z jedneho pocitaca na iny - Odstranenie disku zo systemu - SW RAID setup (0,1,5) - Pouzitie snapshotov (rychlejsie zalohy, navrat zmien po instalacii) ...

Palo

[Xo]

česky psaný článek o instalaci linuxu na RAID by se mi moc hodil.

[List]

Nemate nekdo zkusenost jak se chova system pri pouziti na FibreChannelu nebo nejakem jinem distribuovanem diskovem systemu. Jde mi hlavne o situaci, kdy jeden disk sdilim s vice stroji, coz se mi hodi pri migraci virt. stroju na Xenu.

Zajimalo by me, kde jsou uchovavany informace o nastaveni (tusil bych je hlavicce PV). Dale take jak pri zmene LVM na jednom stroji si s tim poradi stroj druhy. Jde mi hlavne o pripad, kdy chci pridat PV nebo vytvorit novy LV, pricemz existujici casti PV i LV jsou pouzivany a nemohu si dovolit reboot (resp. odebrani/pridani modulu).

Dekuji za jakekoliv zkusenosti a informace.

[Jiri Bajer]

Myslis vgexport a vgimport? Napr. u clusteru se 2 nody v modu active-passive je naimportovana VG na aktivnim nodu a pri presunu aktivity na zalozni nod se premigruje VG a remountne FS na RW...

[Milan Brož]

Toto plati pokud nepouzivate cluster LVM (CLVM daemon) (coz asi rikate tim active/passive .

CLVM samozrejme zamyka na urovni VG, cimz padem vyzaduje locking manager v kernelu (DLM) (tzn zajisti distribuci metadat na jednotlive nody pri jejich zmene).

Metadata (tj. konfigurace LV/VG) je standardne ulozena primo na disku v predem dane oblasti (dane pri vytvoreni pomoci pvcreate).

[anon123]

Ja mam treba XEN s Dom0 na nem LVM pro DomUs. Presne si to uz nepamatuji (nedelam to kazdy den),ale nebyl problem zmenit velikost LVM pro DomU za behu. Bohuzel zmena se promitla az po restartu DomU. Nevim jak to je s aktualnim Xenem, ale kdyby jsi potreboval vedet, tak to muzu vyzkouset a napsat podrobnosti.

[List]

Jde mi o situaci, kdy mam sdileny disk na urovni SCSI (tedy fyzicke zarizeni, ktere je videt pod ruznymi nazvy (muze byt jine major cislo zarizeni) na ruznych strojich. Konkretne mam xen1 a xen2, na jednom vidim /dev/sdd a na druhem ten samy diskovy prostor vidim jako /dev/sdg. To potrebuji pro migraci virtualnich stroju. Pouzivana partition se pouziva vzdy jen na jednom stroji (nezvnika konflikt souboroveho systemu). Napriklad: xen1:/dev/sdd1 -> nepouzivano (nebezi nad nim virtualni stroj) xen1:/dev/sdd2 -> pouzivano (je nastartovan virtualni stroj) xen2:/dev/sdg1 -> pouzivano xen3:/dev/sdg2 -> nepouzivano

Pouzivam xen 3.0.4 bez LVM, ale pokud by mi to neco prineslo, zacal bych jej pouzivat, hlavne bych chtel: - konec s omezenim max. 15 part. na jednom zarizeni (uz vim, ze LVM umi - pridat na xen1 novy oddil (LV), pokud to udelam na xen1, jak to aktualizuji na xen2? - vlastne bych chtel delat LVM operace, tak ale aby byly vysledky videt na vsech Domain-0

Zkousel jsem se divat na CLVM, zda se, ze to je to co chci. Jake s tim mate zkusenosti?

Diky za info.

[Lukáš Benda]

No ten kdo chce rozsahlejsi How-To a nevadi mu ze to bude v anglictine: http://www.gentoo.org/doc/en/gentoo-x86+raid+lvm2-quickinstall.xml

Kdyz si v Googlu nechate vyhledat gentoo a LVM2 ziskate vetsi mnozstvi dobrych How-to.

Btw. spousta veci je prave ve spojeni s touhle distribuci pekne posano.

[alkoholik]

Posano? Jako po.sano nebo pos.ano?
;)

[anon123]

Vyuziji tuto diskuzi k otazce. LVM2 vyuzivam avsak jsem nenasel odpoved na nasleduji vec.

Musi byt snapshot stejne velky nebo vetsi nez logical volume? Zkousel i snapshot o velikosti 1GB na 10GB logical volume (ne plne) a fungovalo. Rad bych se ujistil jak to je.

Je mozne udelat snapshot na jinou volume group? Na jedne volume group mi dochazi misto a druhou volume group mam prazdnou na zalohy. Bohuzel snapshot se mi nedari na jinou volume group. Mate nejaky koment? Zase se chci spise ujistit.

[Milan Brož]

man lvcreate -> -s option tam je to odjakziva popsane

Snapshot (resp copy-on-write pro snapshot) ma velikost maximalne logickeho volume, ze ktereho delate snapshot.

Obecne si musite spocitat/odhadnout kolik sektoru (dat) se v prubehu zivota snapshotu zmeni - pokud bude malo mista, snapshot se preplni a oznaci jako neaktivni (cimz o nej prijdete). (Uklada se vzdy max 1. zmena - pokud je dany sektor prepsany nekolikrat, samozrejme se alokuje na snapshotu pouze jednou.)

Pokud je snapshot stejne velky, nikdy se nemuze preplnit.