Kouzla s diskem pomocí LVM2 - umí to ZFS taky?

8.2.2009 21:47 | Přečteno: 3158× | Linux |

Tak jsem se rozhodl, že překopu disk. Měl jsem jeden velký oddíl, portage je pomalý a chtěl bych mít možnost případně využít prostor i pro něco jiného, prostě jednoduše měnit počet a velikosti oddílů.

Tohle by mohlo být trošku jako praxe k článku o LVM, který tady teď vychází, ale možná do diskuze hodíte i nějaké zajímavé nápady, které mě nenapadly.

Takže původní stav disku 250GB - tady varuju, velikosti berte orientačně. Velikost disku 250GB je klasicky od výrobce, takže ne 250GiB (jak jsme my starší zvyklí), ale opravdu 250G bytů, čili nějakých 232GiB (já budu psát ale v blogu GB a MB ve smyslu GiB a MiB).

Partition	Mount point	Velikost
/dev/sda1	swap	5GB
/dev/sda2	/	170GB
/dev/sda3	NTFS Win (na hry:))	25GB
/dev/sda4	/portage.work (+bordel)	35GB

Po předělání jsem chtěl mít stav

Partition	Mount point	Velikost
/dev/sda1	/boot	2GB
/dev/sda2	LVM2	205GB
/dev/sda3	FREE (pro případné zmenšení LVM PV a vytvoření extended pro fyzické oddíly)	0GB
/dev/sda4	NTFS Win	25GB

Vím, že ten boot nepotřebuje tolik, momentálně má asi 146MB včetně rozbalených dvou initram disků, ale pro jistotu jsem dal 2GB, kdybych tam potřeboval hodit nějakej malej debian.

K přehrabování jsem použil GParted live CD distribuci (kvůli zmenšování ext3 /dev/sda2). Neměl jsem zálohu, ikdyž samozřejmě všechny návody i programy (gparted) varují, že by člověk zálohu měl mít, ale naštěstí se nic nestalo - hlavně jsem se bál, aby nevypadla elektřina. A teď už k postupu.

Jako první jsem potřeboval přesunout Windows na konec disku. Takže jsem zrušil 35GB sda4 a udělal místo ní stejně velkou, tedy 25GB, sda4 na konci disku. Pomocí ntfsclone jsem zkopíroval Windows z sda3 na sda4, to bylo ještě z gentoo. Kopírování OK, jenom rozběhnutí Windows bylo trošku složitější. Po zkopírování Windows jsem totiž zrušil v MBR/PT záznam pro sda3 a myslel jsem si, že Windowsí boot.ini čísluje také partišny jako grub a linux, takže sda4 je partition číslo 4. Takže jsem upravil grub, upravil jsem boot.ini a zkusmo rebootnul do Windows. Ale windows nic. Zjistil jsem, ze první problém je v boot recordu tý sda4. Ntfsclone zklonoval logicky i tu. Jenže Windows si tam ukládá, od kterýho bloku začína logickej disk a ukazovalo to teda na ten v sda3 v jinej části disku. Takže prográmek relocntfs (měli byste ho najít přes Google) zapsal do boot sectoru sda4 ten správný údaj. Pak už se Windows dostaly dál, ale hlásily chybu, že je probém s diskem. Na stránkách MS jsem pak našel řešení, že mám spustit recovery mód a pomocí bootcfg rebuildnout boot.ini. Po tomhle postupu jsem zjistil, ze číslo partition je pořadí obsazené partition v PT a ne pozice v PT. Takže místo partition 4 mělo být partition 3. OK, windows bootujou, jde se na linux.

Takže mám 35GB místa (částečně z sda4 a část z původních windows na sda3). K tomu mám ještě 50GB místa na sda2. Když sda2 zmenším na nějakých 120GB a pak spojím aktuální volné místo s novým z sda2, tak budu mít 80GB. Aktuální stav je tedy

Partition	Mount point	Velikost
/dev/sda1	swap	5GB
/dev/sda2	/	170GB
/dev/sda3		35GB
/dev/sda4	NTFS Win	25GB

a rád bych získal

Partition	Mount point	Velikost
/dev/sda1	swap	5GB
/dev/sda2	/	120GB
/dev/sda3	LVM	85GB
/dev/sda4	NTFS Win	25GB

Takže, jsem nabootoval Gparted Live CD. Ani jsem to nečekal, ale on je to klasickej Debian Lenny (pokud si to dobře pamatuju). Prostředí je fluxbox (jedno z mých oblíbených, takže pohoda). Takže stačilo nastavit /etc/network/interface síť, aktivovat repository v /etc/apt/sources.list a doinstaloval jsem pár balíčků, se kterýma jsem pak mohl dělat i věci okolo, což se hodilo, když parted zmenšoval partition:) Takže krok první byl zmenšit 170GB ext3 na 120GB ext3. Celkově resize zabral lehce přes 2 hodiny, k tomu dvakrát fsck po 13 minutách. Zmenšení se povedlo, jde se dál.

Takze vytvořit PV (physical volume) na /dev/sda3 z volného místa, na něm udělat Volume Group (VG). Tam jsem pak vytvořil Logical Volumes (LV). Naformátovat všechny LV, připojit a zkopírovat část dat z /dev/sda2 a zkopírovaná data z sda2 vymazat, čímž vznikne další místo. Takže opět zmenšit sda2, tentokrát o 50GB, na sda2 teda zbyde 70GB. Opět kolem 2 hodin času při zmenšování.

Po zmenšení je aktuální stav

Partition	Mount point	Velikost
/dev/sda1	swap	5GB
/dev/sda2	/	70GB
Tady je teď 50GB volno
/dev/sda3	LVM	85GB
/dev/sda4	NTFS Win	25GB

Jenže teď je problém, že sice místo na disku je, ale není místo na záznamy v PT. Takže dočasně smáznu Windows informace a na volný záznam přesunu sda3 (LVM PV) a na vzniklém volném místě vytvořím další PV. Stav je teda

Partition	Mount point	Velikost
/dev/sda1	swap	5GB
/dev/sda2	/	70GB
/dev/sda3	LVM	50GB
/dev/sda4	LVM	85GB

Novou PV přidám do VG, vytvřím další LV pro gentoo systém a přesunu data (40GB) na LV. Tím jsem uvolnil kompletně sda2.

Takže teď zrušit sda1 swap 5GB, zrušit sda2 70GB. Vytvořit sda1 2GB ext3 pro /boot. A pak sda2 73GB, na kterým udělat zase PV, přidat do VG. Stav

Partition	Mount point	Velikost
/dev/sda1	/boot	2GB
/dev/sda2	LVM	70GB
/dev/sda3	LVM	50GB
/dev/sda4	LVM	85GB

A teď přichází to nejhezčí.

Uvolnit PV sda3 přesunutím na PV sda2 (pvmode /dev/sda3 /dev/sda2). Tohle trvalo asi 30 minut. Po uvolnění PV sda3 vyjmout sda3 z VG a zrušit PV na sda3. Zrušit partition sda3 a volné místo připojit k sda2, následně zvětšit PV sda2. Aktuální stav

Partition	Mount point	Velikost
/dev/sda1	/boot	2GB
/dev/sda2	LVM	120GB
/dev/sda4	LVM	85GB

Stejně jako sda3 uděláme akci s sda4, čili uvolnit sda4 přesunutím dat na sda2 (taky tak nějak kolem 30 minut). Vyjmout PV sda4 z VG, zrušit PV na sda4, zrušit sda4 partition, zvětšit sda2 partition o volné místo a zvětšit PV na sda2. Vrátit Windows oddíl do PT. Aktuální stav je:

Partition	Mount point	Velikost
/dev/sda1	/boot	2GB
/dev/sda2	LVM	205GB
/dev/sda4	Win	25GB

Zkopírovat /boot z původního oddílu na sda1 a reinstalace grubu. Přesně jak jsem chtěl.

Pár poznámek. Po rebootu z disku se jádro a initram disk načte v pořádku, ale nenajde LV s Gentoo. Naštěstí má initram disk od genkernelu možnost spustit shell, ze kterého pak jde ručně LVM aktivovat. Tohle budu muset ještě dohledat, ale bude to drobnost, případně můžete do disku napsat, co by to mohlo být. V grubu mám real_root=/dev/lvg/gentoo-os a genkernel má zapnutou podporu pro LVM. Ale mám dojem, že se musí ještě jádru (resp. init skriptu v initram disku) předat parametr, aby init skript aktivoval LVM (lvg pvscan, lvg vgscan a lvg vgchange -a y). Druhá poznámka je, že jsem ještě nezkoušel Windows s tím novým rozložením, ale v boot.ini mám teď dva záznamy, jeden pro tři partition záznamy a druhý pro čtyři, takže jeden z nich bude určitě fungovat.

A nyní k tomu ZFS. Dost mě mrzí, že ZFS nemá lepší licenci a nemůže být v jádře. Viděl jsem pár ukázek a popisů a vypadá to opravdu hezky. Pokud to bude umět btrfs, tak to tolik mrzet nebude. ZFS je sice skvělej, ale podle zpool man stránky se nedaji odebírat obsazený zařízení, což zrovna v mém případě byla důležitá vlastnost LVM.

zpool detach pool device

Detaches device from a mirror. The operation is refused if there are no other valid replicas of the data.

Pokud někdo znáte dobře ZFS, můžete v diskuzi odpovědět, jestli by šlo následující. /dev/sda1 a /dev/sda2 jsou spojené ala PV do VG a nyní potřebuju uvolnit /dev/sda2, na které jsou data. Na /dev/sda1 by bylo místo pro přesun dat z /dev/sda2 (v LVM pomocí pvmove). Podle manu nejde device odstranit, pokud neexistuje replika dat. Bylo by teda možné vytvořit repliku dat z /dev/sda2 a tuhle repliku uložit na /dev/sda1 a poté teda data odstranit? Nebo tou replikou se rozumí kopie 1:1, takže bych musel replikovat /dev/sda2 na stejně velkou oblast s tím, že se provede kopie 1:1?

Další věc, která mě na ZFS opravdu překvapuje je rychlost. Jak je možné, že filesystém, který provádí tolik kontrol integrity, umí dělat stripe, mirror, raid-5, COW, komprese, quotas, replication, snapshots, clones, je rychlejší než jednodušší filesystém pouze s žurnálováním? Tohle je opravdu zajímavé. A trošku mě udivuje, že všechny tyhle super vlastnosti ZFS umí, ale tu základní (a podle mě i dost jednoduchou) vlastnost, uvolnit používaný device, zatím stále neumí. Kolega říkal, ze u Sunu tohle neřeší. Kdo používá Sun, tak udělá na disku ZFS a když chce něco změnit (např. právě vyhodit menší disk a vložit větší, když už není třeba místo na řadiči), tak to spíš udělá tak, že zajistí novej server s většíma diskama a ze starých disků všechno přesune na nový. No, něco na tom asi bude:) ZFS se mi opravdu líbí, ale těhle pár věcí mi v hlavě vrtá.

       

Komentáře

[RoboShim]

Wow! Ty 500MB reiserfs partisny pro /usr/portage, /var/cache/edb a /var/db delaji s update-eix fakt divy:) To je jako blesk oproti tomu, co to delalo na tom 170GB ext3. BTW, kdyz jsem zkousel /usr/portage udelat jako 500MB ext3 (s default nastavenim), tak mi dosly inody:)

[lukve]

 zdar. trosku prispejem do diskusie aj ja. sice sa az tak nevyznam v ZFS a lvm som sice skusal ale len okrajovo.. dneska som prave si nainstaloval dragonflybsd a ponuklo mi to volbu pri instalacii novy cluster filesystem HAMMER. tiez to je dost podobne ako ZFS. hlavnou myslienkou bolo urobyt filesystem podobny ZFS .. nejako mi to urobylo tak ze mal som slice rozdelenu na HAMMER+slice a ten Hammer obsahoval dalsie podpartisny ako /, home var tmp.. fakt zaujimave.. a len tak podotknem ze to bolo celkom rychle ale testy som nejake neskusal.. inac pre pouzitie ZFS na freebsd je potrebne minimalne mat 1gb pameti RAM aby to fachalo.

[Vskutečnosti Saýc]

Teda, takovy cachry ... nebylo by jednodussi koupit za patnact stovek 600 GB disk, windows nechat na tom starem, a system si presunout na novy a nemuset se takhle drbat levou nohou za pravym uchem?

ZFS neumi vyndat nemirrorovane zarizeni z poolu (coz samozrejme saje), ale umi vymenit jedno zarizeni za jine (zpool replace), udelat z nemirrorovane konfigurace mirrorovanou pridanim zarizeni (zpool attach), nebo udelat z mirrovane konfigurace nemirrorovanou odebranim zarizeni (zpool detach), takze se s nim vymena jednoho disku za druhy da provest docela snadno.

(s raid5 a bootdiskem to neni tak jednoduche)

[RoboShim]

No jo, a co pak s tim 600GB diskem?:) Mam 250GB interni, pak 500GB externi USB a 160GB externi. Na co dalsi 600GB?:) I ted mam 70GB na tej VG volny:) To se mi zda zbytecny vyhazovani penez za novej disk, kdyz ho fakticky nepotrebuju. Fakticky to byla prace tak max. na 30 minut (kdyz nepocitam ty casy, kdy to samo bezelo - resize, kopirovani - protoze to jsem delal neco jineho (instalace a konfigurace freebsd). To bych stravil vic casu i tim nakupem disku v obchode, pripadne objednanim v eshopu, prevodem penez, cekanim nez disk dorazi, vyzvednuti na poste a instalaci do bedny.

Nahodou tyhle hratky s diskama jsou zabavny:)

[Milan Jurik]

U vetsich systemu je docela obvykly pozadavek, ze potrebujete docasne pripojit jeden disk navic, aby sel nasledne nejaky disk vyjmout. Kvuli snadnosti implementace a rychlosti vysledku.

Jinak mate pravdu, vas postup je rychly, jen je treba dat bacha na mozne lidske chyby

[RoboShim]

 

 

Jinak mate pravdu, vas postup je rychly, jen je treba dat bacha na mozne lidske chyby

Hehe, taky jsem kazdy postup kontroloval a nekolikrat si opakoval, jak to musim udelat, a nekolikrat kontroloval pocatecni a koncovy blok partition v fdisku:) Ale porad to bylo casove vyhodnejsi, nez se babrat s dalsim diskem.

 

[RoboShim]

Po rebootu z disku se jádro a initram disk načte v pořádku, ale nenajde LV s Gentoo.

Tak jsem to nasel. init (linuxrc script) ocekavam parametr "dolvm", nastavi USE_LVM_NORMAL=1. Kdyz se pak spusti funkce startVolumes, tak ta otestuje, jestli je nastavena ta promenna USE_LVM_NORMAL a jestli existujou programy (zde symlinky) /bin/vgscan a /bin/vgchange, ty vytvori init-linuxrc, pokud je spustenej jako /init a pokud existuje /bin/lvm). Snad to bude fungovat.

[RoboShim]

Fuj, moje blbost. Je to v man genkernel, ze se musi pridat dolvm.

[stativ]

Neni 146 MB v bootu trochu hodně? Mně se vleze do ca 3MB.

[RoboShim]

no, mam tam asi 4 nebo 5 jader a jeste dva rozbaleny initramdisku. Experimentuju ted s jadra, mel jsem 2.6.24 a ted jsem chtel nahodit novy jadro. Mel jsem teorii, ze staci udelat make allmodconfig a vsechno pojede v pohode, ale radne jsem se prepocital. Jako zaklad se allmodconfig vzit muze, ale pak to chce doladit. Napr. ATI-drivers si nerozumi s virtualizaci, takze tu zase hezky povypinat, pak jsem nechtel vsechny ty debug hlasky, takze najit a vypnout debug, pak mi neco nechodilo kvuli embedded volbe, dal zvolit spravne CPU, a pak jeste framebuffer musi byt IN, aby chodil VESA FB pri bootu (obcas se hodi mit na konzoli vic nez 80x25).

No a momentalne resim problem, ze mi nechodi PS/2 klavesnice a mys (mam jadro 2.6.28 - 2.6.28.3). Pritom ale v Knoppixu v jadre 2.6.28 PS/2 klavesnice chodi, takze zrejme bude nekde neco bud zapnutyho (chyba v jadre), nebo v modulu nebo to nebude aktivni kvuli necemu jinymu v modulu (ala vesa framebuffer). Takze, kdyby nekdo vedel, budu docela rad, protoze kompilovat jadro kvuli malej zmene je otrava. Zkousel jsem uz usb-handoff, acpi=off (+par dalsich kombinaci), ale i tak poradte dyztak.

[Milan Jurik]

Odebirani zarizeni ze zpoolu nemelo donedavna v Sunu prioritu, ac CR existuje pet let urcite. Predpokladem pro kvalitni vyjmuti zarizeni je schopnost (nejlepe) on-line defragmentace/presunovani bloku v ramci zpoolu, tak jednoduche, aby to bylo poradne, to neni. Dnes uz to CRko prioritu ma a existuje clovek, ktery na tom pracuje.

[RoboShim]

Parada. On to asi opravdu v produkcnim nasazeni ve firme moc nepouzije, protoze tam se budou disky opravdu asi jenom pridavat, ale na testovani by se to hodilo. Tak to mozna ozkousim s FUSE.