Dotazovací blog - Zálohování dat

10.3.2017 10:44

Ahoj,

pracuju v neziskové organizaci. Kolega, který má na starosti správu sítě otevřel diskusi o zálohování. Zálohy jsou téma o němž se moc nemluví, dokud nejsou ty zálohy třeba.

Přiznávám, že toho o zálohování moc nevím a o zálohování většího množství dat. V současné době máme zálohy jednak na serveru a na externích discích uložených mimo budovu.

Požadavky jsou následující

Objem dat 1TB Přístup jednou týdně Ideál server na území EU

Kolega navrhl claudové řešení, konkrétně Google cloud a Zoner Cloud. Přiznávám, že z cloudu mám obavy.

Chtěl bych se zeptat, jak zálohování řešíte Vy. Přiznávám, že jsem informačně na nule a potřebuju se odrazit od dna. Google jsem použil, nějaké nabídky našel, ale bez zkušenosti z praxe je těžké se v tom vyznat.

Já se přikláním spíš k tomu zajistit si někde dobře administrovaný server

Děkuji všem za případné návrhy

       

Komentáře

[Heron]

Záloha začíná zamyšlením nad tím, co vše chcete obnovit. Prostě si řekněte, co by se stalo kdyby se přišlo o všechna data. Co by bylo dál? Tohle dá odpověď na to, co a jak zálohovat. Obvykle není potřeba zálohovat vše, obvykle se zálohou má spíše na mysli archivace (což jsou dvě zcela rozdílné věci).

Dobrá záloha se pozná podle toho, že není dostupná online ze zálohovaného místa (tj rm -rf na zálohovaném serveru nevymaže i zálohy - což není tak neobvyklé, jak by se mohlo zdát). V tomto směru vyhovují i ty dva harddisky. Jeden je offline, druhý online. Při smazání toho online je stále k disposici ten druhý. Klidně je můžete ztrojit. (Každý člen vedení může mít klidně vlastní dvojici.)

Další věc je linka. Záloha na cloudu nebo na dedikovaném serveru vyžaduje silnou linku - jak dlouho tam ta data budete nahrávat? Jak dlouho je budete stahovat? (Mít zálohu, která se bude stahovat měsíc je trochu na nic.)

Pokud se má jednat o archiv, tak jak jsou velká ta data? Ve vedlejší diskusi někdo doporučovat Tresor disky od českého výrobce, tohle by na archivaci dlouhodobých mohlo stačit.

[trekker.dk]

Záloha na cloudu nebo na dedikovaném serveru vyžaduje silnou linku - jak dlouho tam ta data budete nahrávat? Jak dlouho je budete stahovat?

Záleží na tom, jak se to dělá, ale pro nahrávání ta linka tak silná být nemusí - děláme rsyncem off-site zálohy jednou za měsíc z cca 30TB dat*) a průměrný datový tok, který to potřebuje, je 20Mbps. Samozřejmě první kopie, kdy se nedaly dělat rozdíly, chtěla podstatně víc. I to by ale na slabé lince šlo s dedikovaným serverem řešit - první záloha se udělá lokálně a až pak se to odveze do serverovny, v případě katastrofy se ten server (nebo disk) dá zase přivézt.

*) jednou za měsíc znamená, že se každý den zazálohuje něco a všechna ta něco mají dohromady 30TB dat

[xkucf03]

Dobrá záloha se pozná podle toho, že není dostupná online ze zálohovaného místa (tj rm -rf na zálohovaném serveru nevymaže i zálohy - což není tak neobvyklé, jak by se mohlo zdát).

+1 Na to jsou dobré buď dva (či víc) externí disky, které střídáš – pak ti zavirovaný/napadený systém může během zálohování smazat poslední zálohu, ale zbude ti ještě předposlední na druhém disku. Nebo zálohování po síti – používám SSH a Btrfs:

• zálohovaný server má SSH účet na zálohovacím serveru, může přidávat nová data, ale nemůže smazat staré zálohy (dělají se z nich snapshoty pouze pro čtení)
• správce zálohovacího serveru má sice přístup k datům, ale nemůže napadnout zálohovaný systém (nemá tam roota, ani tam neinstaluje žádný software, nepřihlašuje se tam)

[Xerces]

Jak často? Jak se bude spěchat na obnovu obnovu? Vypalovat na compact? Na offline disky? Pořídit pásku? Pro menší neziskovku bych považoval za nejefektivnější zálohovat na nějaký vyhrazený PC na síti v intervalech 1x týdně.

[Michal]

Zksute Amazanon Glacier https://aws.amazon.com/glacier/pricing/ Cena je 4,5USD / mesic / TB

Jen pozor na cenik - cena ziskani dat je X násobná a trvá dlouho.

[regine]

Pokud jde o úložiště mimo objekt, nešel bych do cloudu, ale v jiném objektu bych na Internet připojil vlastní NAS mechaniku od QNAP (levnější kvalitnější HW) nebo Synology (dražší, lepší firmeware).

Potom se zpravidla využije systémové zálohování všech dat přes noc (synchronizace) a v parametrech se vyloučí zálohování nějakých pracovních/zábavních/(z jiných zdrojů dosažitelných) oblastí.

[regine]

Pokud se rozhodnete k výše uvedenému řešení, potom si nechejte nastavit zálohování skutečně znalou osobou.

- nechte si vše popsat
- provést nastavení na síti, nastavení firewall
- zaškolit se na obnovu
- nechat předvést obnovu systému, "laickou" obnovu omylem smazaných dat, ...

Uvádím, protože v praxi jsem zažil různé tragédie se špatně nastaveným zálohováním, takzvanými "odborníky" na všechno.

[marsur]

ano, pripajam sa....

radsej si zaplatte nejakeho backup admina, ktory Vam popise situaciu, navrhne riesenia, nastavi zalohy a zaskoli Vas do nejakeho zalohovacieho mechanizmu

vyhnite sa tomu, kde polovica kolegov bude zastancom cloudu a druha polovica zaloh u Vas a dopadne to tak, ze sa budu roky hadat a nic poriadne nebude fungovat..

inak, co sa tyka financnych veci, cim viac budete zalohovat (a hlavne archivovat), tak budete potrebovat viac a viac diskov....tiez Vam nejaka znala osoba povie vyhody a nevyhody jedneho a druheho....

tiez mam skusenosti, kde odbornikl povedal, ze kupte si dva 5TB disky, spojte ich do Raidu a mate pokoj.....potom sa zistilo, ze ono sa za rok ulozilo 10 MB a nezmazalo sa nic....ale odbornik bol taky arogantny, ze dakujem pekne :)

inak par clankov o tom je tu: https://www.linux-mint-czech.cz/category/software/zalohovani-software/

a tu: http://www.abclinuxu.cz/serialy/zalohovani-v-linuxu

[Josef Kufner]

Viděl bych to na dvoukrokové zálohování.

První krok by byl plně automatický, každou noc na místní vyhrazený server v budově. Nebude problém ani s linkou, ani s rychlostí obnovy. Na náhodná selhání disků a omylem smazaná data je to optimální. U některých služeb může být potřeba zálohovat častěji, třeba real-time replikací databáze. Pokud by šlo o linuxové počítače, tak bych asi volil rsync po ssh a btrfs snapshoty. Zálohy by mohly být read-only dostupné po síti pro snadnou obnovu jednotlivých souborů. Zápis jen vyhrazeným nástrojem, ke kterému uživatelé nebudou mít přístup.

Druhý krok by byla replikace (části) zálohovacího serveru někam mimo budovu. Tím, že na lokálním zálohovacím serveru budou data hezky pohromadě, bude snadné uhlídat, co se vlastně zálohuje a kam. Lokální server tedy bude takový sběrný bod, vzdálený server pak bude jen prostou replikou pro případ, že by se stalo něco opravdu ošklivého. Těchto replik pak může být víc a to nejdůležitější mohou mít zodpovědné osoby doma (takže bude mnoho kopií). Něco by mohlo i do cloudu, pokud by to dávalo smysl.

Podstatné je se zamyslet, jaké katastrofy mohou přijít. Typicky jde o to, že disk odejde, někdo něco omylem smaže, nebo udeří blesk/povodeň/požár/zloděj. Na chcíplé disky pomůže raid a záloha v rámci budovy, na omylem smazaná data taktéž. Na ten zbytek je potřeba budovu opustit.

[regine]

Zásadně RAID bych nepovažoval za zálohu, ani archivaci.

Proč ne?
Uživatel smaže omylem data a z čeho je chcete obnovit?
Malware znehodnotí systém (dnes oblíbené zašifrování dat).
Potřebujete získat starší verzi údajů, protože obsah nepoškozeného/čitelného souboru byl nesprávně modifikován (ale to jej již spíše o archivaci než o zálohování).
...

[Josef Kufner]

Však proto taky píšu „RAID a záloha v rámci budovy“. RAID proti chcíplému disku pomůže, neboť snižuje pravděpodobnost potřeby obnovy ze zálohy.

[GeBu]

Nezapomeňte, že pokud budou v datech osobní údaje není tak jednoduché je nahrávat do cloudu.

[Jack Hokus]

Zdravím,

děkuji za všechny předchozí komentáře. Mnohé z navrhovaných věcí už u nás běží. Doporučovaný NAS už máme, konkrétně Qnap Pro.

Hlavní problém je v tom, že pokud by došlo ke ztrátě dat na tom NAS serveru, ať kvůli technické poruše, nebo se nějaký ramsomware "postará" o zašifrování dat, tak máme velký problém. Chtěl bych se tedy zeptat, zda by se dal náš stávající systém doplnit o nějaký prvek, který by zvýšil jeho odolnost.

Dále jste doporučili možnost najít na Olomoucku firmu, která nám zajistí zálohování komplet. Máte někdo osvědčeného poskytovatele zálohovacích služeb?

Ptám se proto, protože zajímavou nabídku vám sestaví kdokoli, ale skutečná kvalita služeb často za nabídkou zaostává. Prostě bych nerad testoval kvalitu záchranné vesty až když budu plavat podél boku hořící lodi

ěkuju

[cezz]

Prostě bych nerad testoval kvalitu záchranné vesty až když budu plavat podél boku hořící lodi

Toto je vec na ktoru sa casto zabuda. nech uz vam tie zalohy nastavi ktokolvek, sucast riesenia musi byt pravidelna kontrola zalohy. (ci uz komplet data, alebo nahodna cast dat) Pokial mate toto nastavene, tak jednak viete ako data obnovit, ked to naozaj budete potrebovat, lebo to budete robit pravidelne a tiez budete mat istotu, ze tie zalohy casom neprestali fungovat. (viz nedavny problem Gitlabu, kde zistili, ze zalohy im uz nejaky ten mesiac nefungovali)

IMHO tato poziadavka sama o sebe znacne zjednodusi vyber technologii a pokial si to chcete kupit ako riesenie od nejakej spolocnosti, vela nedoveryhodnych firiem odfiltrujete prave tou poziadavkou na pravidelnu verifikaciu zaloh - ak vam povedia, ze to netreba, lebo.. tak si radsej najdite niekoho ineho.

[Josef Kufner]

Na data šifrující ransomware pomůže sledovat zaplnění místa na disku. Jakmile inkrementální zálohy začnou spotřebovávat výrazně víc místa než dříve, tak se něco děje.

[regine]

Ochranu proti "ramsomware" jsme po dlouhé době řešení a pokusů vyřešili, draze ale funkčně. Máme dvě NAS jednotky, které se střídají v on-line režime - lichý a sudý týden.

Prvotní bylo, jen jeden NAS a jeden externí disk s celkovou zálohou prováděnou jednou týdně přes noc po kontrole systému. Následně externí disk odpojen do příštího týdne.

[Odin1918]

1. Pracujes v te neziskovce z dobroty srdce a bez vyplaty? Pokud ne, neni to neziskovka.

2. Kvalitni zalohovani neni snadne a necekej, ze sam spolehlive vyresis zadarmo sehnanymi radami, za ktere dostanes zaplaceno od sve neziskovky.

[xkucf03]

Zrovna v rámci GNU/Linuxové komunity je zvykem si pomáhat zadarmo. Samozřejmě že za tebe nebude nikdo dělat „domácí úkoly“, ale podělit se třeba o návod na zálohování pomocí Btrfs mi přijde normální. Myslím, že Heron o tom psal na svém blogu. Taky bych mohl sepsat, jak to dělám já…

[Odin1918]

Jiste. Absolutne souhlasim a diky teto vlastnosti si myslim, ze je komunita i GNU/Linux sam o sobe tam, kde je (pozitivne mineno). Reagoval jsem takto ostre proto, ze autor blogpostu zminil, ze pracuje v neziskovce, coz je podle meho vzhledem k tematu postu, kterym je zadost o informace o zalohovani zdarma, naprosto irelevantni. Daleko lepsi by bylo, pokud by si autor onen ostudny fakt nechal pro sebe a radeji by nam sdelil sve vychozi podminky: mnozstvi dat, sirka pasma linky, pozadovana dostupnost, pozadovana doba drzeni zaloh, uroven redundance, mnozstvi dostupnych financnich prostredku, atd.

[kralyk z abclinuxu]

Daleko lepsi by bylo, pokud by si autor onen ostudny fakt nechal pro sebe

Proč by mělo někoho zajímat, že z tvého pohledu to je ostudný fakt?

(Mně zas připadá ostudné, když má někdo potěšení z toho, že jsou ostatní chudší, příp. že na objednávku vydírá zaměstnance firem, ale to tě jako cizí názor nejspíš taky nebude zajímat...)

[Agent]

...pracuje v neziskovce, coz je podle meho vzhledem k tematu postu, kterym je zadost o informace o zalohovani zdarma, naprosto ireleventní. - Není to irelevantní. Naznačuje to cosi o finančních možnostech. Jako neziskovka pravděpodobně nemaj peněz nazbyt a nejspíš nebudou nějaká velká firma s tisícovkami zaměstnanců a z toho pak i vyplývaj požadavky, tedy něco levného pro pár lidí.

Sranda je, že vzápětí požaduješ sdělení výchozích podmínek jako třeba mnozstvi dostupnych financnich prostredku. U neziskovky se asi nedá očekávat rozpočet za statisíce jenom na IT, že. Očekával bych realisticky řádově tisíce, maximálně pár desítek tisíc.

Jediný irelevantní jsou tu tvoje ideologický duševní ejakuláty. Fakt v tý vyšinutý makovici nic jinýho nemáš?

[ChronicPain]

Viz Nezisková organizace:

Nezisková organizace je organizace (právnická osoba), jejímž účelem není vytvářet zisk, tedy která není obchodní společností ani jiným podnikatelským subjektem.

Vyplácet zaměstnancům mzdu s tím není v rozporu. Svoje názory si můžeš strčit za klobouk; takto je ten právní termín nadefinovaný.

[Kate]

Kamarád pracuje jako psycholog na fulltime v neziskovce. Ta neziskovka se věnuje chráněným bydlením pro těžké schizofreniky a jejich začleňováním do společnosti. Výsledkem je, že ze spousty z nich už jsou lidé schopni pracovat a koexistovat s lidmi kolem. Pro tebe - „neprožírají peníze daňových poplatníků v ústavech“. Ta neziskovka je tedy podle všeho veřejnosti prospěšná. A té práci se opravdu nedá věnovat ve volném čase, člověk to musí dělat jako fulltime práci.  

Neziskovka samotná negeneruje zisk – všechno co dostane na darech od firem nebo dotacích vydá na náklady a platy. Které podle toho vypadají, jejich úroveň je taková, kolik peněz zrovna dostanou. Většinou docela mizerná. Ale co, dělá to z dobroty srdce, i když by mohl úplně stejně pracovat za větší peníze.

Takže jak, neměl by podle tebe za svou práci dostat nic, vykašlat se na to a své klienty vesele vrátit do ústavů, ať si tam hnijou?

[Lenin]

jednoduchy model zalohovania:
- archivy podla hodin (celkovo 24 archivov) natrepat do cron.hourly a dookola nechat prepisovat
- archivy podla dni (celkovo 28-31 archivov) natrepat do cron.daily a dookola nechat prepisovat 
- archivy podla tyzdnov (celkovo 52-53 archivov) natrepat do cron.weekly a dookola nechat prepisovat
- archivy podla mesiacov (celkovo 12 archivov) natrepat do cron.yearly a dookola nechat prepisovat
idealne rdiff-backup, /etc, projekty s kopou malych suborov a pod. ... 

[Tomáš Věčný]

Celkem dobrý a jednoduchý přístup. Jen doplním:

Měsíce jsou zbytečné, když už máš týdny -- nebude v nich nic navíc. To už je lepší mít nějaké loňské (předloňské...) zálohy, než dvakrát ty letošní (co je v měsíčních, bude i v týdenních).

Kromě /etc se nesmí zapomínat ani na /var -- zálohovat DB, weby, poštu atd. člověka napadne, ale pak jsou tam i věci, které by jeden čekal spíš v /etc -- třeba crontaby uživatelů.

A na /etc se dá dobře použít verzovací systém (Mercurial, Git...) a mít hezky historii a vidět, co se od minule změnilo -- s tím pomůže etckeeper.

[Lenin]

ano samozrejme udaje tam budu duplikovane ALE ak pride kolega ze to tam mal v 20. tyzdni tak to - a to mi ver - vyuzijes ze to mas po tyzdnoch... radsej viac zaloh ako menej A ano git ci merc je super vec pre /etc... a ano na /var netreba zabudat ale to nech uz si kazdy definuje ako len chce... vyhodou tohto pristupu je ze si viem velmi rychlo zratat maximalnu velkost vsetkych archivov s prihliadnutim na ich rocne prirastky a teda presne viem kolko diskoveho priestoru na externom NASku zaberu...

[msk]

Osobne zalohujem na domaci nas, tam mam v btrfs-raid1. Na nom sa mi robia snapshoty v roznych casovych intervaloch a stare sa rozne odmazavaju. V nepravidelnych intervaloch donesiem z prace z trezoru externe disky a tie snapshoty na ne syncnem.