Moje počátky (pořádnýho) zálohování (update)

12.4.2010 17:33 | Přečteno: 2631× | Hardware | poslední úprava: 12.4.2010 22:55

V pátek po škole pohodička, pizza s přítelkyní... a rutinní SMS od táty, že mu zas něco nejde na kompu Jakmile se vzdálím z baráku a on si k tomu sedne, nikdy to nedopadne dobře. Tentokrát to bylo o něco vážnější než obvykle. Počítač nereagoval na příkaz reboot a další věci a po tvrdym restartu už ani nenaběhl.

V sobotu jsem měl jít na ples, tak jsem se stavil doma, abych se na to mrknul (a pak na sebe hodil kvádro). No, po chvíli pátrání jsem zjistil, že se nechce připojit jeden oddíl s btrfs - prostě mount zůstane viset a dmesg se plní hláškama o tom, že došlo místo. Jsem hovado, k tomuhle nemělo dojít, obzvlášť ne u btrfs. Táta si chtěl něco stáhnout a šlo to do kytek. Bohužel šlo o oddíl, na kterém jsem měl dočasně důležitou část domovského adresáře (tátovo i mýho)... Tak jsem zkoušel fsck a různý další věci, už jsem plašil a pomalu se loučil s daty, zálohoval oddíl pomocí dd, kompiloval git verzi btrfs-progs a stahoval z gitu jádro ve větvi btrfs-unstable, jelikož tam jeden commit z nedávna vypadal dost slibně, ale nakonec mi ProgDan poradil ať to zkusím připojit read-only a ono to konečně prošlo...

Nechápal jsem sice proč mě něco tak triviálního nenapadlo samo od sebe, ale bylo mi to v tu chvíli fuk. Dan u mě má pivo a já jsem rychle převedl všechny btrfs oddíly na ext4. Nejdřív jsem přeformátoval ten rozbitej btrfs, připojil jeho zálohu přes loop a nakopíroval tam ty data zpátky. Pak jsem dal zálohovat 20 GB fotek na HTPC, kde je hafo místa a potom jsem se konečně odhodlal předělat ohromnej oddíl s XFS, kterej se mi tuhle při defragu skoro rozpadl a pohromadě pravděpodobně držel už jen silou vůle. 180 GB putovalo skrz gzip a ssh na HTPC přes 100 Mbit LAN několik hodin a pak to samé zpátky.

Sice už delší zálohuju pár kritických věcí, ale furt toho velká spousta nebyla pokrytá. Podobnou blbost už neudělám. Pochopil jsem několik věcí:

• je mi jedno, že používám o pár procent pomalejší, hloupější, zastaralejší FS
• podstatný data budu od teď zálohovat takovým způsobem, že i kdyby vypukla WW3, tak mimozemšťani (protože by nikdo jinej nepřežil) vydolujou moje data

Tak to vidíte. Kolem počítačů se motám asi 8 let a doteď jsem se pořádně nepoučil.

PS: díky tomuhle celýmu jsem aspoň nahlásil bug v K3b (nejde vypalovat na DVD-R DL)...

PS2: potřeboval bych doporučit nějakou levnou (do 5 stovek) 1 Gbit síťovku do PCI nebo PCI-E x1 se kterou máte dobrý zkušenosti (na Linuxu), tak se kdyžtak zmiňte v diskusi.

       

Komentáře

[CEST]

1) gzip a ssh??? ssh dela taky kompresi, takze IMHO gzip zbytecnej.

2) kdyz chci kopirovat vetsi mnozstvi dat a chci to co nejrychlejc, tak mozna radsi rsync - taky komprimuje, ale ne uz zkomprimovany data, ale hlavne nesifruje. Ale kdyz mas silny stroje, tak je to zrejme jedno.

3) brtfs chcipne, kdyz dojde misto ... sakra, uz jsem myslel, ze konecne mame GPL konkurenta ZFS. radsi zustanu u ext3/reiserfs. Co ta ext4, ma taky nejaky takovyhle skryty featury nebo je OK?

4) jinak teda unstable filesystem bych pouzival opravdu jenom na testovaci data, cili v realnym nasazeni snad nikdy (leda opravdu jenom v mirroru s nejakym stabilnim FS).

[musa]

ext4 ma taky peknou ficuru (kterou sem bohuzel zakusil) : http://en.wikipedia.org/wiki/Ext4#Disadvantages

[David Watzke]

No jasně, šifrování a velká část komprese byla na nic, ale šlo to furt plnou rychlostí, takže si to vzalo akorát trochu víc šťávy. Až si budu psát zálohovací skripty, určitě k tomu přihlídnu a nejspíš použiju právě rsync.

[Honza Jaroš]

Co se rsync týče, osobně doporučuju tuhle nadstavbu...

[the.max]

jop, taky se pripojuju uz nejaky patek to take pouzivam, NASTESTI jen pro zalohovani. zatim jsem nemel potrebu obnovovat

[Honza Jaroš]

No já už ho používám i u několika Windows serverů (cygwin verzi, ta nemá problémy s unicodem v názvech souborů). Sice to chtělo pár hacků, aby to používalo Shadow Copy a správně se zálohovalo ACL a NTFS symlinky, ale nějak nemám lepší alternativu, která by uměla zálohovat na vzdálenou mašinu připojenou přes obyčejné ADSL...

[Jirka]

Ty hacky jsou někde k dispozici?

[Honza Jaroš]

No, v podstatě jde o tohle:

VSS - pátrejte po programech vshadow.exe (umí z příkazového řádku udělat shadow copy, spustit batch předaný jako parametr a po jeho ukončení ten snapshot zase smazat) a dosdev.exe (umí připojit snapshot jako další disk).

ACL - po ukončení zálohy si celý disk projedu pomocí subinacl.exe a práva nahraju do separátního souboru (který pak zálohuju zvlášť). Při obnově se obnoví soubory a pak se opět pomocí subinacl obnoví práva.

Symlinky - tohle řeším pomocí skriptu využívajícího programu linkd.exe, opět projedu disk a seznam případných symlinků si uložím do souboru. Při obnově to lze dělat buď ručně (Win2003 většinou používají symlinky jen u doménového řadiče a tam jsou pouze asi čtyři), nebo v případě většího množství si na to opět napsat skriptík...

[Stevko]

Ja používam túto nádstavbu. Nenašlo by sa nejaké porovnanie?

[Honza Jaroš]

Nevím, neznám, zkuste Google...

[VSi]

Srovnání z mého pohledu:

Rsnapshot (obdobně funguje třeba dirvish):

- každá záloha obsahuje "všechny soubory", ty nezměněné nezabírají skoro místo, protože rsync vytvoří hardlinky

- z předchozího plyne, že zálohy je možné snadno procházet jako "zmrazené obrazy stavu" - od toho "snapshot"

- při velkém množství souborů zálohování zdržuje to, že pokaždé se musí vytvořit hardlink pro každý soubor, i když se třeba nezměnil ani jeden

Rdiff-backup:

- máte k dispozici poslední zálohu jako "snapshot"

- starší verze souborů jsou uloženy ve speciálním formátu - ukládají se změny od poslední zálohy, toto se navíc komprimuje gzipem (možná umí i jiné algoritmy). Tedy při poškození části zálohy hrozí, že ke starším souborům se nepůjde dostat.

- tj. starší než poslední zálohu nejde přímo procházet, na druhou stranu lze jednoduše vypsat seznam záloh, kde byl změněn určitý soubor nebo vypsat, které soubory byly změněné u dané zálohy. Jde obnovit i jednotlivé soubory.

- pokud zálohujete velké soubory, které se třeba každý den mění, mohl by být problém s tím, že pokaždé se bude tvořit "diff" od posledně, který se bude navíc komprimovat (tady ale ten princip 100% neznám).

- výhoda je, že zvlášť zálohuje metadata (práva, vlastníka, ale i ACL a ext attributes) takže se tyto informace neztratí třeba při záloze na NTFS disk nebo CIFS share

[David Watzke]

Jinak ano, o Btrfs se ví, že když dojde místo, chová se hrozně divně (a taky že dochází místo i když tam hafo místa ještě je - zní to divně, ale viz google nebo si to zkus )

Ext4 by mělo bejt vylepšený ext3 a ten zaplnění přežil v pohodě, tak nejspíš jo.

[xHire]

Jinak ano, o Btrfs se ví, že když dojde místo, chová se hrozně divně (a taky že dochází místo i když tam hafo místa ještě je - zní to divně, ale viz google nebo si to zkus )

Jo, s tím mám osobní zkušenost. Zkoumal jsem, co s tím, ale ty utility pro btrfs, co tu mám, neumí prakticky nic (nebo umí, ale nechtějí to dát najevo ). Jelikož šlo o gigový oddíl na portage, vyřešil jsem to ext4kou s větším množstvím inodů.

A taky se mi btrfs postupem času zpomaloval, což mě na něm štvalo nejvíc. (Projevovalo se to nejznatelněji při počítání závislostí emergem. Stačilo oddíl znovu zformátovat a už jel zase jako blesk.)

[kotyz]

vsak sis o to koledoval. ja kdysi zkousel nasadit jfs a za tri dny sem to formatoval zpatky na ext3 (pokazdy kdyz dedek sekackou vyrazil hlavni jistic tak se mi vynulovalo nastaveni kdecek, s extem se to za nekolik let nestalo nikdy, s jfs dvakrat za den) ...

ale jeste me nepostihla takova katastrofa ktera by me donutila nejak zvlast resit zalohovani. kdyby se melo neco stat tak je to vsechno pryc a uz se to nikdy nevrati (na druhou stranu by to zadna skoda nebyla) ...

[gtz]

No my jsme kdysi celkem hodně nasazovali XFS, ano byl rychlý, ale v případě pádů apod. byly data defacto někde. Obnova z XFS je celkem problém a zvládá to jen málo softů. Většinou se to dělá až data-minningem.

[otasomil]

Jednoducha rada:

Zalohovat zalohovat zalohovat ......

Budto pomoci dd, cp, gzip .... a podobnych nastroju + nejake skripty ci pouzit nejaky komercni nastroj.

Mate- li v pc disk WD tak muzete pouzit vytvorene live cd (ci boot usb flash) z aplikace acronis jez je pro majitele disku WD zdarma.

True image skutecne umi zalohovat i Linux FS. Zalohy lze vsak ulozit pouze na diskovy oddil s FAT32 ci NTFS

Skutecne je vyzadovan HDD od WD, jinak live system nenabehne. Nastesti to jde i tak ze pripojite externi USB HDD stejnojmenneho vyrobce, system jej detekuje, nabehne a uz muzete zalohovat a obnovovat jakekoli disky ci jejich oddily.

Aktualni verze je postavena na Acronis True Image Home 2009.

[kotyz]

to je sice fajn, ale kam ja bych celej oddil zazalohoval? se mi nikam nevejde. to bych musel koupit extra 1TB jen na zalohy aby se mi to tam vsechno veslo ...

na to opravdu dulezity mi staci 1 DVD

[otasomil]

True image dosti komprimuje a system oddil s hafo programama se vejde do nekolika GB.

Moznost rychle obnovy je k nezaplaceni.

Podpora windows i Linux systemu jej primo predurcuje k tomu jej mit k ruce v podobe boot CD. Je to zdarma a licencne v poradku.

1 TB HDD stoji pouhe cca 2000,- (externi USB cca 2500,-) to je jak nic.

Pravda nejdulezitejsi veci maji nejmensi velikost (datovou mysleno) - takoveto porekadlo.

To me staci to nahrat nekam na vice ftp ci jako prilohy mailu - nemam nic tajneho ci osobniho v podobe nejakych dat.

[Käyttäjä 11133]

nemam nic tajneho ci osobniho v podobe nejakych dat.

I kdyby si měl, tak se to dá vždycky zašifrovat a zálohovat bezpečně jen ten šifrovací klíč

[otasomil]

Tez pekne reseni. Jednoduche a snadno pouzitelne.

[kotyz]

320GB oddil s muzikou a serialama nezkomprimuje ani nahodou (a takovy mam 3)

[otasomil]

Samozrejme ze komprimovane soubory (mp3, avi  ....) uz nejde vice zkomprimovat.

Ztrata takovychto dat neni az tak bolestiva vsak. Navic opravdu cenne kusy se daji nekam zkopirovat.

Horsi je zhavarovany perfektne odladeny system (jakykoli) a ona "mala" nejdulezitejsi data.

[kotyz]

no vsak to pisu, dulezity data tam skoro zadny nejsou. a ani system by me nevadil, aspon bych ho odladil znovu a lip, ted se mi do nej uz nechce sahat kdyz funguje ...

[otasomil]

Jo a navic Acronis recovery boot nastroje jsou postaveny na Linux kernelu, busyboxu.

Jejich pouziti jiste zadneho linuxare neurazi.

[Semo]

50MB Slax zvlada zapisovat na ntfs, ma dd, tar a gzip a plno dalsieho. Co mi da Acronis oproti akejkolvek live-ke s linuxom?

[otasomil]

Nema z tohoto pohledu nic navic.

Jen uzivatelske rozhrani jednoucelove naprogramovane.

Jinak nic.

[Cohen]

Nemám rád komerční utility tam, kde nejsou třeba. Už docela dlouho k naprosté spokojenosti používám Clonezilla live (s velkým harddiskem v externím boxu, který je mimo samotného zálohování fyzicky odpojený jak od počítače, tak od elektrické sítě).

To ale z časových důvodů dělám jen tak jednou za měsíc. Na ten samý disk proto ještě v podstatně kratších intervalech zálohuju jen samotná data rdiff-backupem (takže je k dispozici historie záloh + je ohlídaná konzistence záloh, protože rdiff-backup si uchovává kontrolní součty zálohovaných dat).

Pro případ nějaké živelné pohromy, krádeže apod. podobným způsobem zálohuju i na další disky, které jsou fyzicky uloženy úplně jinde. A tak jednou ročně dělám zálohu i na DVD-R (opět uložená geograficky vzdáleně), aby byl k dispozici navždy neměnný historický snímek dat na nemagnetickém médiu (pro strýčka Příhodu...)

[Heron]

To je zase diskuse

Pánové:

1. Zálohovat!
2. Pokud už používáte vývojovou versi FS (chválím, někdo to testovat musí), tak nikdy na ukládání důležitých dat a když už tak zálohovat (ještě jednou).
3. UPS a rozvody v pořádku!

A ještě poznámka:

• Delayed allocation může za Disadvantages označit jen člověk, který tomu "hodně rozumí". A nebo nějaký wikipedista.

[progdan]

Super dik za pivo...neplanujes rozbit par dalsich FS ze bych mel pristi LPT zadaco? :D

Jinak od te doby co ja mam na Btrfs vsechno vcetne home tak sem taky radsi zacal poradne zalohovat a pouzivam fwbackups...je to docela sikovnej klient, umi vytvaret plne i inkrementalni (jak je to cesky?) zalohy, uploadovat je na FTP nebo pres SSH...zalohuju denne v 20:00 (v tuhle dobu mam pocitac pustenej temer vzdy) a nikdy jsem ani nezaznamenal ze se vytvari 260MB archiv a uploaduje se na server (lokalni)...ze zacatku jsem ho dokonce podezrival ze ani nefunguje...

[kotyz]

inkrementalni = prirustkovy

[Peter]

mne sa viač páčia rozdielové

[Käyttäjä 11133]

Rozdílové jsou "differential". Rozdíl.

[void]

David Watzke BYL NA PIZZE S PŘÍTELKYNÍ.

[David Watzke]

Ha, ha, ha...

[Käyttäjä 11133]

LOL.

[Martin Matějek]

xkcd je ze života

[void]

A co si myslíš, že jsem myslel?

[Martin Matějek]

No popravdě jsem si nebyl jistý, jestli to je takhle schválně anebo místní folklór. Tak trochu Schrödingerova kočka...

[houska]

spatne jsi to napsal spravne ma byt: "David Watzke byl na pizze S PŘÍTELKYNÍ."

[Jezekus]

Nejlepsi zkusenosti mam asi s 3Com sitovkama (ale 1Gbit verzi do PCI-X uz nemas realnou sanci sehnat), takze nasleduje Intel do PCI, kterej mam v serveru asi rok a par desitek TB.
Predtim tam byl 100Mbit 3Com a pred nim 1Gbit obyc Realtek, ktery vyslovne nedoporucuji, proste mi umiraly a stabilita prenosu spolu s rychlosti nestala za prd. Slaby procesor byl neustale vytizen na doraz, s 3Com nebo Intelem je to naprosto OK.
Intel vysel asi na 700,-
Pripadne zkus Realteka za 100 a uvidis.

[vagojan]

No pokud si chceš trochu pohrát, tak doporučuji zálohovací systém Bacula... Uznávám, že je to na domácí zálohování kanon na brabce, ale spokojeně ji používám... a chystám se její nastavení ještě rozšířit o archivní kopie na další výměnná média.

www.bacula.org

[Käyttäjä 11133]

Jasně a k tomu páskovou knihovnu, SAN síť, backup server a StorageTek mechaniky... :) Bacula je na domácí zálohování hoooodně velký overkill nehledě na to, že je pro disk to disk zálohování docela hodně storage unefficient pokud nechceš udělat jeden full a pak samé inkrementály... Pokud chceš mít data alespoň 2 měsíce zpět a dělat jednou týdně full tak se ti to pěkně prodraží. Nehledě na to, že nakonfigurovat baculu je složitější než nakonfigurovat leckterý Enterprise zálohovací systém.

[wolf09]

Ja ososbne jsem jiz uspesne vypalil nekolik DVD-R DL disku pomoci K3B.

[kotyz]

ja taky (k3b z kde3, nejaka verze 1.0.5, na tu betu pro kde4 nemam odvahy, je to pro me temer zivotne nezbytna aplikace), ale v prehravaci mi hrali jen do pulky, tak sem presel na DVD+R DL, ktery jsou bez problemu.

[David Watzke]

Se starým K3b nepochybně.

[Václav "Darm" Novák]

Jedna 1Gb PCI síťovka se mi momentálně válí někde mezi komponentama na hraní, které jsem si přitáhl do práce. Je to intel nebo 3Com, už si nepamatuju. Jestli jí chceš, můžu ti zítra napsat detaily a předat třeba na LinuxExpu, jestli tam budeš. Za pivo je tvoje :)

[Václav "Darm" Novák]

http://www.intel.com/Products/Desktop/Adapters/PRO1000GT/PRO1000GT-overview.htm