Dotaz: nejjednodusi zaloha systemoveho disku

[glx]

DD,

chtel bych poradit, jak nejlip zalohovat serverovy systemovy disk. Jedna se o debian. Potrebuju neco,kde pri selhani novy (stejne velky nebo vetsi) disk nejak preplacnu zalohou a bude to identicke.. sever zase pojede.. zaloha by se mela provadet na sitovy disk qnap. Premejslel jsem o dd a rsync ... chci proste neco jednoducheho, abych nemusel rucne vytvaret oddily, formatovat, nastavovat grub atd... diky za tipy

---

---

Odpovědi

[NN]

Zazalohuj si dulzitou konfiguraci a data, zbytek vzdycky rozjedes znova..

NN

[glx]

ale to znamena, ze bych musel zase instalovat, rozdelovat atd... potrebuju nejakou obnovovaci rychlovku

[Bilbo]

Ja tohle resim skriptem, ktery vytvori sadu tarballu (jeden pro /etc, jeden pro /usr ....)

Kdyz chci obnovit data ze zalohy (pripadne prenest instalaci na jiny pocitac), tak rozdelim disk, pak rozbalim vsechny tarbally, nahodim grub, ak pripadne vyedituju par souboru ako /etc/fstab a je to ... system obnoven/prenesen

Vyhodou je, ze zaloha obsahuje kompletni system, a jelikoz je to v nekolika tarballech, tak z toho celkem rozumne jde vyzobat i jen cast te zalohy (napr. pokud si zmrvim par souboru v /etc a chci je obnovit do puvodniho stavu, tak je snadno rozbalim z patricneho tarballu pro /etc ktery je obvykle pomerne maly)

Velikost zalohy je (v mem pripade) podle stroje a toho co je na nem nainstalovane cca od 0.5 GB do 6 GB, coz by melo byt pruchodne i po siti.

Pouzivam na zalohu jak serveru, tak desktopu

A nyni ten skript:

#!/bin/sh
#Adresar se zalohami
BACKUP_DIR=/home/backup
#Jmeno zalohy
BACKUP_SUBDIR=server1
mkdir -p $BACKUP_DIR/$BACKUP_SUBDIR

#Nezalohovat neco co je nekde namountovane, s vyjimkou /home, boot a /
#Muze byt potreba upravit
fsdirs=`mount |awk '$3!="/" && $3!="/home" && $3!="/boot" {x=x " --exclude=" $3 "/* "};END {print x}'`

excl="--exclude=$BACKUP_DIR/* --exclude-from /root/backup-excludes $fsdirs"
direxcl=""
backup_dir () {
 a1=`echo "$1" | sed 's/\//__/g'`
 tar $excl $2 -cvzf $BACKUP_DIR/$BACKUP_SUBDIR/__$a1.tgz /$1
 direxcl="$direxcl --exclude=/$1/* --exclude=/$1"
}

backup_dir etc
backup_dir root
backup_dir home
backup_dir opt
backup_dir bin
backup_dir lib
backup_dir sbin
backup_dir usr/local
backup_dir usr/lib
backup_dir usr/share/doc
backup_dir usr "$direxcl"
backup_dir var
tar $excl $direxcl -cvzf $BACKUP_DIR/$BACKUP_SUBDIR/__.tgz /

Ve skriptu je odkaz na /root/backup-excludes kde je seznam souboru co nezalohovat. Typicky ruzne cache, co se samy vytvori znova, adresar kde ukladam zalohy z jinych systemu (mit zalohy v zaloze neni dobry napad), cely /tmp apod...

Priklad jak muze /root/backup-excludes vypadat:

/.journal
/swap
/backup/*
/home/*/.texmf-var/fonts/*
/home/*/.ccache
/proc/*
/tmp/*
/var/backups/*
/var/cache/analog/dns/*
/var/cache/apt/archives/*
/var/cache/debconf/*-old
/var/lib/apt/lists/*
/var/lib/dpkg/*-old
/var/tmp/*

Zalohovani je jednoduche, spusti se to a v /home/backup/server1 to vytvori nekolik tarballu. Ty pak presunu nekam jinam.

[petr_p]

Úplně automaticky to nepůjde nikdy, protože nemůžete zálohovat data, která se vám mění pod rukama. Jisté pragmatické řešení je hodit všechno nad LVM a zálohovat tak, že uděláte snímek a například rsyncem zazálohujete snímek. Pak můžete snímek zahodit.

[glx]

to zni zajimave.. prosim poradte mi, jak to udelat.. moc moc diky .. LVM tam mam...

[glx]

nevite o nejakem srtozumitelnem howto k tem LVM snapshotum, nejlepe v cestine?

[Šangala]

Chce si to pročíst man - o českém lvm HOWTO nevím, ale mohlo by to vypadat takto: (Bez záruky, hlavně pozor na lvremove :))

# sync na disk
sync
# vytvořeni lvmmybackup pro zálohování /dev/main/backuped_volume o velikosti 20Gb 
# (nesmí dojít během zálohy ke změně více než 20Gb dat)
/sbin/lvcreate -L20G -s -n  lvmmybackup /dev/main/backuped_volume
# připojím
mount /dev/main/lvmmybackup /někam/kde/to/nezalohuji

#tady zálohuji normálně 

#odmontuji
umount /někam/kde/to/nezalohuji
#odstraním 
/sbin/lvremove -f /dev/main/lvmmybackup

(nic není neošetřeno na zklamání !) Tu je něco o tom nečesky

[glx]

super diky.. nejak ale nechapu, co nastavit misto tech 20gb.. podle ceho mam tu velikost vytvorit? Da se nejak jednoduse (lajcky) popsat, co ten snapshot vlastne udela.. ja si to vubec neumim v srovnat, o co presne jde.. to kopiruje data nebo co?

[Šangala]

20G znamená že nově vytvořený volume má velikost 20Gb a takže do něj nelze více uložit.
K dotazu: „nekopírují se data⁰.
Asi by to šlo popsat tak, že se zaznamenávají jen změny, které vznikají po dobu existence tohoto volume
tzn. stávající volume např. /dev/main/vg00-root normálně funguje vše se zapisuje.
Ale ten nově vytvořený (s parametrem -s) má stav původního /dev/main/vg00-root v momentě vytvoření toho snasphotu.
K velikosti, jak píši záleží na množství změn během jeho existence, v man-u píší 15%-20% velikosti toho, ke kterému se vytváří.
Hraní si z LVM „jen tak“ bych doporučil ve virtuální či testovací mašině :)

[glx]

nejak nerozumim tomu, co vyplnim sem: /dev/main/backuped_volume

[Šangala]

/dev/main/backuped_volume je ten svazek, ke kterému chcete vytvořit snapshot tj., který chcete zálohovat.
To co se lze zjisti např přes df- h

[glx]

aha, ja myslel, ze to udela zalohu celeho vg.. to ne? a jakou tam ma dat tu velikost?

moje nastaveni:

 --- Volume group ---
  VG Name               LVM-sda2-sdb2
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  4
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                3
  Open LV               3
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               297,86 GB
  PE Size               4,00 MB
  Total PE              76251
  Alloc PE / Size       76251 / 297,86 GB
  Free  PE / Size       0 / 0   
  VG UUID               o0CrBY-gNER-XRDl-OW2n-wLL3-kurA-jAA0px

--- Physical volume ---
  PV Name               /dev/md1
  VG Name               LVM-sda2-sdb2
  PV Size               297,86 GB / not usable 3,44 MB
  Allocatable           yes (but full)
  PE Size (KByte)       4096
  Total PE              76251
  Free PE               0
  Allocated PE          76251
  PV UUID               AQKX1U-gww4-XJSw-PwdZ-eMMz-rK1j-0TjIIu

[Šangala]

Vystřelím "dal bych 30G" :)
Ale těch 30G musí být dostupných, tzn. musí být pro ně místo na disku.

[glx]

mam to takto:

df -h
Souborový systém  Velikost Užito Volno Uži% Připojeno do
/dev/mapper/LVM--sda2--sdb2-root
                      6,5G  4,4G  1,8G  72% /
tmpfs                 1,5G     0  1,5G   0% /lib/init/rw
udev                   10M  728K  9,3M   8% /dev
tmpfs                 1,5G     0  1,5G   0% /dev/shm
/dev/md0              221M   34M  175M  17% /boot
/dev/mapper/LVM--sda2--sdb2-home
                      285G   78G  192G  29% /home

a stahl jsem si skript: http://www.abclinuxu.cz/blog/xkucf03/2009/11/lvm-snapshot-obraz-disku-jako-init.d-sluzba

upravil

zarizeni="/dev/LVM-sda2-sdb2/root";     # LVM logický oddíl
pripojny_bod="/mnt/obraz"; 		# Adresář, kam vytvořený obraz připojíme 
velikost_obrazu="30G"; 		        # tolik změn lze na disku udělat, než se snapshot zaplní na 100%
nazev_obrazu="obraz";  		        # Název LVM obrazu
nazev_vg="LVM-sda2-sdb2";               # LVM skupina svazků (VG)

Porad delam asi neco blbe

/etc/init.d/obraz-disku start
Vytvářím obraz disku
File descriptor 7 left open
  Insufficient free extents (0) in volume group LVM-sda2-sdb2: 7680 required

omlouvam se za mou tupost

[Šangala]

Jestli je disk 300Gb tak to nepůjde :(
Místo je třeba mít fyzicky na disku (potažmo ve volume group) pro vytvoření toho nového volume, pokud je všechno místo vyčerpáno pro LVM--sda2--sdb2-root a LVM--sda2--sdb2-home, tak nelze vytvářed další volume.

[glx]

--- Physical volume ---
  PV Name               /dev/md1
  VG Name               LVM-sda2-sdb2
  PV Size               297,86 GB / not usable 3,44 MB
  Allocatable           yes (but full)
  PE Size (KByte)       4096
  Total PE              76251
  Free PE               0
  Allocated PE          76251
  PV UUID               AQKX1U-gww4-XJSw-PwdZ-eMMz-rK1j-0TjIIu

[Zdenek]

Je treba dodat, ze zalohovat snapshoty je sice lepsi, ale ani to nezaruci konzistenci dat na aplikacni urovni.

[petr_p]

Ještě přihodím, že některé souborové systémy (ext3) mají funkci zmrazení a rozmrazení, čímž dokážete zajistit konzistentní systém souborů během výroby snímku.

[Jendа]

Alternativní řešení rsyncem:

rsync --exclude=/proc --exclude=/sys --compress-level=9 -avzhhPe 'ssh -p 443' --numeric-ids --delete root@server:/ zaloha/

[glx]

to jsou ale data bez oddilu na disku, ze?

[Jendа]

Ano. Já takto klonuji systémy - nasypu to tam, nainstaluju GRUB a jede se. Výhodou je, že je to nezávislé na velkosti a uspořádání oddílů na cílovém disku.

[glx]

a ten disk teda formatujete a vytvarite partysny a pak spoustite ten prikaz? muzete trosku popsat, co ten prikaz udela? moc moc diky

[Jendа]

Ten příkaz stáhne celý souborový systém vzdáleného serveru do lokálního adresáře zaloha/ a zachová všechny atributy souborů. Pokud se spustí po nějaké době znovu, přenesou se jen změny, takže se to dá použít i pro zálohování serverů po pomalé síti.

[standa]

to jede pres https port nebo co?

[pavlix]

Neni důvod používat port pro https, když aplikačně je to ssh (při obvyklém použití).

[Jendа]

Mám SSH na portu 443, protože se občas připojuji ze sítě, kde je všechno kromě HTTP/HTTPS blokováno.

[pavlix]

To pak jo.

[glx]

snazim se nejdriv zkopirovat rozlozeni disku na novy, nasel jsem

sfdisk -d /dev/sda | sfdisk /dev/sdb

je mozne neco takoveho, abych to mel prozatim v souboru? :

#zaloha
sfdisk -d /dev/sda | sfdisk /zaloha/zozlozeni_disku

#obnoveni
sfdisk -d /zaloha/rozlozeni_disku | sfdisk /dev/sdb

[dustin]

Místo pipy do jiného sfdisku to prostě přesměruj do souboru:

sfdisk -d /dev/sda > zaloha.txt

A poté zase ze souboru načti na standardní vstup sfdisku:

sfdisk /dev/sdb < zaloha.txt

[glx]

pujde to i kdyz mam na RAIDu vytvorene LVM takto?

[dustin]

sfdisk řeší rozdělení disku a je mu jedno, zda čte data z jiného sfdisku nebo ze souboru. Pokud chceš mít na novém disku stejné rozdělení, pak to půjde.

[glx]

tj vcetne fs a LVM?

[dustin]

Ne, mluvím o rozdělení disku do oddílů. FS a LVM jsou o datovém obsahu těch oddílů, to nemá se sfdiskem nic společného. Na to např. dd nebo opětovné vytvoření a překopírování.

[glx]

takze ted kdyz na ty vytvorene prazdne oddily zkopcim vsechny data ze stareho disku, system nabehne? Potrebuju proste co nejjednoduseji, nejrychleji a nejspolehliveji obnovit server, pokud odejdou oba disky v raidu popr. deska atd.. proste odkazany budu jenom na zalohu..

[dustin]

Nejjednodušší je celý disk zkopírovat příkazem dd na jiný minimálně stejně velký disk

dd if=/dev/sda of=/dev/sdb bs=4M

Tím vznikne identická kopie disku, kterou můžeš strčit do kompu s relativně podobným HW (obvykle v pohodě) a rovnou z ní nabootovat, pokud bude disk v biosu ve stejném pořadí, jako ten původní (obvykle tedy první).

dd je potřeba spouštět z liveCD, aby na disku během kopírování neprobíhal žádný zápis a ideálně nebyly namontované filesystémy. Pro zálohu párkrát do roka je to reálné.

[otasomil]

1+

Pokud je cilovy disk vetsi tak jej potom staci pomoci Gparted "roztahnout" na plnou velikost oddilu a je hotovo.

Live CD s Gparted resi vse.

[glx]

no jo, problem je ale v tom, ze to je nekolikahodinovy proces, zvlast po siti... a vysledny image ma napr. 500GB jako cely disk.. to je nanic

[dustin]

Ptal ses, jak to co nejrychleji obnovit. Rychlejší obnova než výměna disku za jeho identickou kopii neexistuje.

Pokud nejde o NTB, dělá se to připojením druhého disku přímo do kompu. Pak i 500GB netrvá nereálně dlouho.

Samozřejmě toto není pro pravidelné zálohování datových partišen, ale ptal ses na zálohování a rychlé rozjetí systémového disku. Nicméně bez dat je to obvykle stejně k ničemu.

Jinak 500GB není dnes žádný velký objem dat. Pokud to opravdu potřebuješ, těch pár stovek za 500GB záložní disk snadno oželíš.

[master]

Ja treba potrebuju zazalohovat server na sitovy disk. Potrebuju neco, co nebude trvat x hodin. Kdyz jsem pustil dd na disk o velikosti 37GB, kde bylo obsazeno 800MB, trvalo to 4hodiny!! sit byla stovkova a zarizeni byl sitovy disk.. potrebuju neco rychlejsiho, pruznejsiho.. Proto jsem se ptal na tu kopii rozdeleni disku, abych pak mohl treba tim rsyncem "jenom" zkopcit systemova data, ktera budu pravidelne zalohovat.. Udajne i blbej Ghost pro win umi behem chvilky vytvorit zalohu disku, protoze "neduplikuje" prazdny misto bit po bitu, nebo jak to dela dd.

[pavlix]

Komerční nástroj si samozřejmě pořídit můžeš.

dd ti nekopíruje nutně celý disk, ale jenom ty bloky, co si řekneš.

Pokud používáš 37GB disk jako 1GB disk, tak ho tak můžeš používat se vším všudy... tzn rozdělit na partitiony, aniž bys to gigo překročil a pak říct dd, ať ti skopíruje jenom to gigo.

Tím máš identickou kopii, která zahrnuje master boot record (512B), prostor za MBR (může tam být ještě kus bootloaderu) a všechny partitiony, které se vejdou do té části, co kopíruješ.

Ghost pokud vím zálohuje partitiony se znalostí filesystému (vynechá neobsazené bloky uvnitř partitiony). Takový nástroje pro ext3 existujou taky, tušímže partimage apod.

[lertimir]

Ptám na na podobné v jiném vláknu. Lze tohle provést i tak, že cíl není /dev/sdb, ale je na síti, dostupný třeba přes FTP protokol? Představa je taková, že mám notebook, zálohuji systém, a jinde mám stacionární komp s velkými disky, kde tuhle zálohu mohu uložit. Bootnu live distribuci, a zkopiruji původní systém jinam. třeba jako operaci před zásadním upgradem distribuce a jinými velkými zásahy.

[kyytaM]

Ano. http://clonezilla.org/ :)

[Andrea]

Zdravim, da se pomoci clonezilly zalohovat cely system/disk za chodu?

[pavlix]

Zálohování za běhu není úplně 100% nikdy, na zbytek aď odpoví jiní (nebo kouknout do dokumentace).

[glx]

a poradite, jak ty snapshoty a nasledne obnoveni nejlip provest pri te me konfiguraci? mam mit teda treba dalsi disk na zalohy?

[none]

Ahoj!

Prilis bych se nebal te konzistence dat. Mam zkusenosti s produkcnimi servery, ktere byly zalohovany ddckem a jejich obnova neprinesla zadne problemy. Na serverech bezi klasicky hostingovy trojboj (apache/php/mysql) s mailsystem. Ano, mohou se vyskytnout nekonzistence, nicmene pro 'neEnterprice' reseni je to dostacujici a vzhledem k typu serveru ktery provozujes (jsem si dovolil odhadnout, ze to neni server s kritickym vyznamem) bych zvolil nejjednodussi reseni a to:

dd if=/dev/sda of=/mnt/backup

Zaloha bude velika jako cely disk sda, muzes si pohrat s kompresi, dostanes se nejmene na velikost dat na disku. LVM snapshotum jsem neprisel na chut, krome konzistence mi neprinesly nic lepsiho. Zalohuju ted opensource systemem bacula, nicmene to neresi presne to co jsi chtel - tedy snadnou obnovu 'sakumprask'.

Moznosti je jeste zalohovat jen data a rozdeleni disku. Usetris misto, zkratis zalohovaci okno, muzes prizpusobit zalohovani pro jednotlive aplikace, muzes vynechat nesmysly apod. Pokud jde o nove rozdeleni disku, hodi se to pokud bude novy disk vetsi nez puvodni. Data zalohuj nejakm pomoci taru s kompresi a rozdeleni disku pomoci:

sfdisk -d /dev/sdX > rozdeleni_disku.txt 

Obnovu pak provedes snadno pomoci:

cat rozdeleni_disku.txt|sfdisk /dev/sdY

Zavedeni grubu by nemel byt problem.

[Emil]

zdravim sfdisk -d /dev/sda > sfdisk /dev/sdb zkopci rozdeleni disku na druhy disk.. tzn. bez filesystemu?

[Vlach]

myslim, ze to je jen rozlozeni bez fs, ale nereknu to na 100%

[pavlix]

Uff, zrovna mysql se dá tímhle způsobem úplně složit. Pokud jde o LVM, tak to tenhle typ nekonzistence neřeší. Úroveň filesystému radši nekomentuju.

[Martin Beránek]

Zdravim,

po precteni prispevku predemnou bych byt vami vybral nasledujici reseni.

1. udelal bych systemovy disk co nejmensi (ja mam 5G, z toho obsazene 1.4G - debian Lenny, je potreba vetsi? naco?)
2. zalohovat pres rsync -x / /mnt/zaloha + sfdisk

vylepsit se do da:

• snapshotem kvuli nejake konzistenci
• misto rsync pouzit neco co umi inkrementalni zalohu (tar)

IMHO jde pri tom "domacim" zalohovani hlavne o rychlost zalohy a snadnost obnoveni (rychlost obnoveni tak podstatna neni)...

PS: bavime se o zaloze systemu

[Havran]

ahojte. s Linuxem moc neumim, ale rad bych. Nicmene jsem zatim jen win admin. Ted jsme prevzali spravu jedne firmy, je tam par uzivatelu. Sef mi dal ale za ukol, at vytvorim takovou zalohu, aby obnova byla co nejjednodusi a nejrychlesi, kdyz odejdou treba oba disky, co jsou v raidu1. Tady je hodne psani, ale nevsim jsem si dadnyho ucelenyho postupu. Odejdou disky. Prijdu, zapojim nove, nahraju behem par minut image a jedem dal.. jde to takhle nejak? Jde o to, ze kdyz to pujde lehce, tak muj priblblej sef zacne brat Linux jak pravoplatny system a ja s nim aspon prijdu vic do styku a neco se naucim v praxi.

[Havran]

v te firme je samozrejme (malej) Linuxovej server s CentOS

[Smajchl]

Tak si to vyzkousej ne? Ty admine...

[Havran]

To tady prezentujete arogantnost Linuxovych uzivatelu? Doufam, ze ne.

[Šangala]

Založte si raději nový dotaz :)

[pavlix]

Hmm, možná odpovím trochu arogantně já...

Jak jedna trefná poznámka na to, že si člověk věci má sám prakticky vyzkoušet (neboj, toho tónu jsem si všiml)... souvisí s arogancí velkého množství lidí, co se provinili jen tím, že čirou náhodou někdy (opakovaně) použili konkrétní operační systém (zjednodušeně řečeno, vím, že se nejedná o jeden OS)?

[Havran]

Na me to proste pusobi tak, ze jakmile nekdo prizna, ze spravuje Win servery, je pro uzivately Linuxu "opovrhovan" -- samozrejme ne vsemi, ale prvni odpoved na muj dotaz tento nazor jen podporila, bohuzel. Ma reakce byla myslena s nadsazkou, proto ten smajlik nicmene odpoved jsem nedostal vesmes zadnou vecnou..

[pavlix]

Já v té reakci žádný smajlík nevidím :).

No já to většinou vidím s píš tak, že když někdo napíše, že je win admin, že mu je spousta lidí nakloněna pomoct se začátky s Linuxem.

Zkus se podívat na diskuze, kde převažují obdivovatelé windows, nejsem si jistý, že ty diskuze budou probíhat v lepším tónu než tady.

Je potřeba si uvědomit, že jsi přišel požádat o radu (nástřel, nasměrování) a ne koupit řešení. Takže ti budou lidi radit, kde získávat další infomace a výjimečně nadhodí nějakou možnost řešení problému, která se jim zdá vhodná.

Kdybys napsal, že jsi linuxový admin, dopadl bys rozhodně hůř.

[pepe]

O co ti jde? Ty chytraku!

[pavlix]

Tvůj problém má zhruba dvě řešení:

1) mít připravené náhradní nainstalované disky a buď je pravidelně (offline) aktualizovat, nebo si dělat bokem zálohu samotných dat, která se na ty disky nasype.

2) zálohovat veškeré soubory (partitiony) po síti, pak je potřeba dávat si pozor na konzistenci (souborů, databází, všeho)