Dotaz: Zalohy, ach ty zalohy!

[tom]

Dobry den,

leta shanime dokonaly zalohovaci software, ktery je intuitivni i pro mimino, funguje na vsech platformach, je... no zkratka dodnes jsme ho nenasli.

Skoro vsechny masiny mame s swRAIDem, ale nemonitorujeme ho. Odejde jeden disk, potom druhy, masina se hryzne a odmita nabehnout. Zkusenost je nastesti takova, ze kdyz se chciple disky nechaji nejakou dobu "odpocinout", podari se je jeste, alespon jednou, rozjet a to staci, abychom je vyzalohovali na novy stroj. Akorat to stoji cas a ten byva drahy.

A tak jsme nejak dospeli k zaveru, ze centralizovat zalohovani tech nasich ruznorodych a ruznotvarych masin postrada smysl a uplne by nam postacil software, ktery by bezel na kazde masine, a kazdou pulnoc vykopiroval zvolene adresare na permanentne pripojenou flashku. Udrzoval by, dejme tomu, poslednich 21 kopii. Pred dvacatou druhou by prvni smazal.

Napsat si neco vlastniho by asi nebylo prilis slozite, ale jak se spravne rika: nac znovuvynalezat kolo. Znate prosim nekdo takovy program, resp. muzete ho na zaklade pozitivnich zkusenosti doporucit?

Dekuji za vas cas

Odpovědi

[tertdgd]

rdiff pripadne duplicity

[H0ax]

Ty vysloveně nemáš rád svoje data. Na co raid bez monitoringu? To už tam nech jen single disk, ušetříš prachy a zážitek ze zatuhlýho serveru si užiješ tak jako tak. Flešky jsou skoro jak diskety, ale jestli máš rád divočinu při obnovování dat a badblocků na fleškách, let's go . Centralizované zálohování je přece hrozná blbost

[Radovan]

Já flashku už skoro půl roku používám místo harddisku, a to jsem jí dostal na vyzkoušení jako nefunkční, protože Widle jí nedokázaly zformátovat, Linux ano. Zatím bez nejmenšího problému, ale pro jistotu občas zkopíruji co přibylo na exterák...

[mrtn]

rsnapshot

[Petr Bravenec]

Notybláho! Vy nepotřebujete jen zálohy. Vy v prvé řadě potřebujete vytvořit nějakou strategii, jak zacházet se svými daty. Je úplně jedno, jestli použijete na zálohování nějaký program - ten nejlepší na světě, protože pak budete zálohovat na jedno z nejméně spolehlivých zařízení dneška. I kdybyste zálohovali třeba na disky, je to jedno, protože tuším, že díky absenci monitorování zjistíte až v případě průseru, že záložní disk je už půl roku plný a žádné zálohy se nedělají. Nezapomeňte, že stejně jako je nutné monitorovat diskové pole, potřebujete monitorovat i provedení zálohy, aby to k něčemu bylo.

Rozmyslete si, jak chcete zálohovat. Pak už vám stačí utility jako rsync nebo rdiff a trochu kouzlení v shellu.

[tom]

no jo strategie... ale kdo to ma vymyslet? ja mam na praci hromadu jinych veci a nikdo jiny se tim u nas zabyvat nebude. koukal jsem na radu nastroju pro spravu centralnich zaloh, ktere pry maji vse zjednodusit, ale vsechno je to slozite jak radiobudik. ja potrebuju jednoduche reseni. vezmu masinu, pichnu do ni flashku, nakopiruju skript do cronu a hotovo. i kdybych mel ty flashky menit kazdeho pul roku, porad je to lepsi nez dratem do oka. na vetsine masin stejne potrebuju zalohovat leda konfiguraci a par skriptu, tedy desitky az stovky kilobytu. v kanclu je to samozrejme neco jineho. dokumenty, vykresy, ale vetsinu toho mame stejne kazdy v emailech kdesi na googlu. leta jsme meli masinu, ktera provadela zalohy rdiffem, a ta ted exla. na novou penize jen tak nedostanu a kupovat to opet za svoje uz me davno prestalo bavit. jak tak premyslim, kterou jinou masinu bych pro to zalohovani znasilnil, tak me napadlo: co to decentralizovat?

[Kit]

A co takhle zálohovat do cloudu? Dokumenty do Dropboxu, výkresy do Bitbucketu,... Budeš to mít zálohováno on-line i s verzováním.

[Kit]

Když už většinu máte někde v e-mailech na Googlu, můžete mít data zálohována i v Google Drive. Na těch pár GB to stačí.

[tom]

vida. to vubec neni spatny napad. tim bych se zbavil starosti o spolehlivost "zalozniho media". diky. zkusim se podivat timto smerem

[Petr Bravenec]

...koukal jsem na radu nastroju pro spravu centralnich zaloh, ktere pry maji vse zjednodusit

• Co budete zálohovat?
• Jak často budete zálohovat?
• Jak hluboký potřebujete archiv?
• Jak budou zabezpečená provozní data (raid)?
• Jak budou kontrolované disky?
• Jak bude kontrolovaný raid?
• Jak se budou zálohy kontrolovat?
• Kdo bude dostávat informace o selhání raidu nebo disku?
• Kdo bude dostávat informace o selhání zálohy?
• Kdo bude zodpovídat za stav disků?
• Kdo bude zodpovídat za stav záloh?

Zodpovězte si na otázky a odpovězte si, který software tohle řeší. Možná vás napadne spousta další otázek.

Správou serverů se živím - napište mi nebo zavolejte.

[tom]

chybi mi tam jedna otazka: Kdo nad tim vsim ma premyslet?

me by se moc libilo, kdybych tady mel x-uckovou masinu plnou disku v RAIDu buhvikolik, jeste pichnutou do baterky, a ktera by zalohovala snapshoty celych oddilu a kazdy vecer mi poslala SMSku, ze vsechno je allright a at klidne spim. zalozil bych si blog a tlacil na nej clanky "How I did it!". i kdyby mi ji sefova nakrasne koupila! kazde rano mi bude chodit vykladat kolik to zere proudu a at ji teda znova vysvetlim co to ma jako delat. nehlede na to, ze bych to stejne asi nedokazal nakonfigurovat

jsme tady parta mladych namotivovanych cvoku a zatim nebyl pru*er se kterym bychom si nedokazali poradit nebo se s nim smirit. rozumite, ja nehledam dokonale reseni, ale jednoduche reseni. takove, ktere zvladnu vlastnima silama a kdyz se pokazi, dokazu ho opravit

kazda masina nebo jedinec produkujici data ma u nas jine naroky na to co a v jakem objemu chce nekam vykopirovat aby o to neprisel. me se ta myslenka "natlacit to na cloud" libi. o sve masiny se postaram sam a kolegum jenom rozdam skript, kam doplni cesty k adresarum o ktere nechteji prijit. co jsme se tak bavili, tak hloubku zalohy nepotrebujeme zadnou. staci nam posledni verze dokumentu. vytvaret tady nejaky centralni bod, ktery me bude stat penize a nervy, to radeji tech par dolaru poslu Dropboxu nebo Googlu a nazdar bazar

[Kit]

Dropbox i Google jsou do určité velikosti pracovní skupiny a obsazeného prostoru zcela zdarma. Často se tím eliminuje i potřeba vlastního serveru. Když k tomu přidám Github a Bitbucket, také zdarma, tak už mám pokryty všechny potřebné služby.

[Petr Bravenec]

Nejjednodušší a nejintuitivnější řešení je to překopírovat odněkud někam a zkontrolovat, jestli se to provedlo. K tomu nic složitého a drahého nepotřebujete - trochu diskového prostoru, rsync a pár skriptů v shellu.

Ale vy dnes zacházíte s vlastními daty, jakoby vám na nich vůbec nezáleželo, a nezdá se, že byste plánovali svůj přístup změnit, očekáváte, že to za vás vyřeší nějaký program. Nevyřeší. Zapoměňte taky na to, že ostatní uživatelé budou dělat jakékoliv zálohy. Nebudou. Polovina nikdy, druhá polovina první týden.

Každým svým příspěvkem tady dáváte najevo, že u vás nikdo za nic neodpovídá a nikdo nic nekontroluje a přemýšlení je ztrátou času.

Co budete zálohovat? = vytvořit konfiguraci pro každý počítač, označit, co se bude zálohovat.

Jak často budete zálohovat? = nacpat to do cronu, případně napsat si do kalendáře "udělat zálohy"

Jak hluboký potřebujete archiv? = udělat si adresáře, označit externí disky (po, út, st, čt, pá)

Jak budou kontrolované disky? = máme nastavený smart?

Jak bude kontrolovaný raid? = máme nastavený mdadm?

Jak se budou zálohy kontrolovat? = pozná zálohovací skript chybu a nahlásí ji?

Kdo bude dostávat informace o selhání raidu nebo disku? = komu rozbijeme hubu, když nevymění včas disk?

Kdo bude zodpovídat za stav disků? = kdo půjde v pátek večer vyměňovat disk, když všichni ostatní budeme chlastat?

Kdo bude dostávat informace o selhání zálohy? = kdo bude zkoumat, co je se zálohou špatně, když přijde varování o špatné záloze?

Kdo bude zodpovídat za stav záloh? = komu rozbijeme hubu, když do kanceláře vtrhne velká voda a poslední záloha bude rok stará?

Nebudeme to dělat nějak jinak? = koupíme chromebooky a google ať se stará.

Jen ve své firmě zálohuji pět různých serverů. Některé kompletně, u jiných jen vybrané části dat. U každého serveru vím, kam mám sáhnout pro poslední zálohu, mám jistotu, že tam budou data ze včerejška, protože jinak by mi nagios rozsvítil červenou kontrolku. Napadla mě spousta dalších otázek, na které jsem si dokázal odpovědět. Mám strach z odpovědí, na něž jsem dosud nenašel otázky. Vy nemáte strach ani z toho, že by vám mohly nečekaně chcípnout nenávratně všechny disky v raidu najednou.

[Kit]

Dle popisu jejich síť neobsahuje server, ale jen hromadu stanic, u kterých se pokusili zvýšit spolehlivost přes swRAID1. Ja vidno, nestačí to. Nákup zálohovacího serveru nemusí být zrovna levnou záležitostí už proto, že si musí odpovědět na otázky, které jsi uvedl.

Zrovna Dropbox funguje na principu, který je požadován. Změní se soubor - šup s ním na cloud. Dokonce s historií. Nehodí se však pro velké a často měněné soubory - s databází SQLite by to asi moc dobře nedopadlo a její sdílení bych určitě každému rozmluvil. Dokonce i sdílení dokumentů přes Dropbox přináší určité problémy, pokud tentýž soubor otevřou dva uživatelé současně.

Na sdílení dokumentů on-line se mi osvědčil Google Doc. Sice to neumí tolik, jako Libre Office, ale do jednoho dokumentu může psát více lidí současně. To je však jiná záležitost. Navíc to není zálohování, ale služba.

Myslím si, že cloudové řešení je v mnoha případech výhodnější, než se to snažit slepovat ve vlastní infrastruktuře.

[Petr Bravenec]

To je možné. Nic nám o své práci neřekl. Možná jim dropbox bude fungovat dobře. Možná potřebují git. Nebo možná bude stačit vrazit do jedné stanice disk navíc a zálohovat tam - drahé to být nemusí. Ale otázka "léta hledáme program, který funguje všude, dělá všecko, nemusíme ho nastavovat a není třeba ho kontrolovat, nevíte o něčem?" je divná, navíc ve mě každým dalším příspěvkem roste podezření, že divné je i rozdělení zodpovědností ve firmě.

Když na to přijde, může stačit externí disk - v pondělí dělá zálohy franta, v úterý břeťa, ve středu mařka, ve čtvrtek jožin a v pátek šéfová. Jen tam možná chybí člověk, který vykráká za uši každého, kdo zálohu neudělá. Jaksi sorry, ale na tohle fakt stačí externí disk a sešitek, do kterého se po provedení zálohy každý podepíše. Na překopírování zálohy stačí spustit rsync ve skriptu. Nic z toho není nákladná záležitost. Ale za žádné peníze na světě nekoupíte člověka, který zkontroluje podpisy v sešitku dřív, než přijde průser, když je to každému ve firmě putna. To je věc, na kterou narážím a která je z tazatelových reakcí tak patrná.

[ewew]

Asi hladajú One Click Device.

[Kit]

To je příliš mnoho klikání. Spíš Clickfree Backup Device

[Kit]

Psal, že těch dat nemá mnoho - desítky KB, ale předpokládám, že časem to budou stovky MB až jednotky GB. Proto ho napoprvé napadla fleška, která by kapacitně vyhovovala.

O Gitu jsem už vlastně psal, když jsem zmiňoval Bitbucket. Pro týmovou práci na projektu skvělé řešení.

[Max]

Tak nevím, zda se jedná o trolla, nebo ne :-/.
Je snad takový problém si nastavit :
1) posílání emailů při pádu/změně pole?
2) pravidelná kontrola pole cronem (třeba debian to má automaticky nastaveno)
3) je problém pravidelně dělat test disků pomoci smartmontools (opět, daemon, co se o disky stará)?

Zálohovat na flash disky? To je vtip? Jaký je problém mít centrální backup server, kde budou všechny zálohy a budeš si vše řídit z jednoho místa? Já třeba na backup fileserveru používám btrfs filesystém a po každém rsyncu dělám snapshot. Výsledkem je, že mám x měsíců starou historii záloh našeho file serveru, které provádím 5x denně a ve finále zálohy 300GiB file serveru mají nějakých 500GiB a těch dat tam teče kolem dokla celkem hodně.
Zdar Max