Dotaz: Dlouhodobá archivace dat

[Josef Kufner]

Dobré ráno,

pokud jde o běžné zálohování, druhý počítač na síti je asi to nejpohodlnější. Pro trvalejší zálohování se přidá externí pevný disk, občas se obmění a je to. Co ale na opravdu dlouhodobou archivaci?

Mám tu cca 200 GB fotek a dalších dat, která chci dlouhodobě uchovat. A tím "dlouhodobě" myslím desítky a stovky let. Musí to vydržet i ne zcela optimální skladování a nesmí to vyžadovat další údržbu. A hlavně to musí být čitelné i s železem dostupným za těch pár desítek let.

Data jsou různých formátů, nejde jen o fotky, ale i různé dokumenty, zdrojové kódy, videa a vůbec všechno možné. Kdyby šlo jen o fotky, tak se to prostě vytiskne, ale chci to ponechat v digitální podobě, aby neutrpěla kvalita záznamu.

Aby archivace byla pouźitelná, je potřeba automatizované zpracování. Zkopírovat starý pevný disk na nový je snadné. Opisovat zdrojáky z papíru nikoliv.

Odpovědi

[Jendа]

200 GB … a nesmí to vyžadovat další údržbu

Se současnou technologií nelze.

[j]

Viz jenda, takova technologie neexistuje.

Da se to leda suplovat. Rekneme alespon 2 zcela oddelena a geograficky ruzne umistena uloziste (odolnost proti pozaru a jinym pruserum) a neustale prubezne obmeny HW tech ulozist - dle vyvoje technologie.

Mimochodem, ani tisk tech fotek by tomu nepomoh. Tisk nema totiz ani zdaleka trvanlivost klasicke fotocesty (osvit fotopapiru), nemluve o tom, ze ani barevna fotka vyrobena "klasicky" nevydrzi ani zdaleka tolik, jako fotky cernobile.

[Daveran]

Nasvítit na osvitový archivační film, alespoň co se týče fotek. Ale i to je jen na desítky let a při kvalitním skladování. ALe je to jediné co vám zaručí čitelnost i bez technonologie.

[potato]

Videa -- současnou technologií nelze.

Fotky -- přemalovat na obrazy. Optimální technika závisí na druhu očekávaných neideálních podmínek (vlhko a zima, sucho a UV záření, ...), akrylové barvy by mohly fungovat.

Texty libovolného druhu -- tisk, klasickou technikou, barvou založenou na oleji.

Podkladové materiály těžko říci. Papír moc neoptiálních podmínek nevydží, s moderními materiály nemáme stovky let zkušeností, klasické mají zase různé nevýhody...

V každém případě je zapotřebí si uvědomit, že železo budoucnosti může být jak super technologie (pro kterou OCR stotisíců stran není problém), tak klacky a kameny.

[rastos]

Papír moc neoptiálních podmínek nevydží,

Keď už sme pri tom, tak nie je papier ako papier.

Ale to autor otázky asi počuť nechcel

Medzi najzaujímavejšie nápady čo som na túto tému čítal, je uložiť do hermeticky uzavretého obalu celý počítač. Trvácnosť magnetických diskov v dobrom prostredí je celkom slušná. A potom už len potrebuješ zaistiť, aby si sa na ten disk dostal - mať software na čítanie, OS, motherboard, CPU, radič, káble, konektory ... ktoré spolu fungujú.

No a keď sa presunieme do reálnej roviny, tak by som odporučil teraz nahrať na HDD a raz za 5 rokov to presunúť na záznamové médium, čo bude v danej dobe aktuálne.

[potato]

Nahrávání na stále novější záznamová média neřeší bezobslužnost -- kdo to bude těch dalších tři sta let každých několik let kopírovat?

Jistota jsou v podstatě jen analogové záznamy...

[rastos]

neřeší bezobslužnost

A ja chcem poníka. A hodinky s vodotryskom.

[potato]

tohoto poníka?

[rastos]

Eh. Ten je nulový

[lertimir]

Požadavek " čitelné i s železem dostupným za těch pár desítek let" je v principu nerealizovatelný. Před "desitkami" lety byly děrné pásky, děrné štíky, 9 stopé magnetické pásky, výměnné magn disky pro mainframy a 8" diskety. Nic z toho se v současnosti na železe přečíst nedá. Nejdelší archivní životnost v současnosti odhaduji pro optická media, CD/DVD v archivním provedení např toto, jinak není nic.

[Jendа]

Děravá páska se číst umí (nějací lidé na to přes noc postavili udělátor z fotozávor a Arduina), ostatně v nejhorším to jde i ručně. S vícestopou magnetickou páskou to jde blbě (synchronizace), nedávno to někdo řešil, ale obecně existuje univerzální nástroj na čtení všech pásek a disket, jenom je drahý.

[lertimir]

Asi i DVD DataTresorDisk jsou dobrá. Pokud to dobře chápu, tak hlevní rozdíl mezi archivními a nearchivními DVD je v použitém barvivu. Levná CD/DVD používají organická barviva, která dělají vlastně barevné skvrny a z podstaty procesu nejsou dlohodobně stabilní. Archivní DVD používají anorganická barviva na bázi kovových sloučenin, která vlastně vytváří stopy kovem. Představuji si to podobně jako rozdíl mezi barevnými a černobílými fotografiemi a negativy. U čb negativů je obraz vytvořen vyloučeným stříbrem a je stabilní i po 150 lety. U barevných negativů je tvořen organickými barvivy a i přes řízené skladování stárne.

Navíc DVD a CD technologie vyrobila obrovskou masu placek, které se jen tak rychle nestanou mimo, podobně jako LP se teď pořád dají přehrávat a vyrábí se gramofony (i když to není masovka), tak jsem přesvědčen že i za 50 let budou čtecí zařízení na DVD. Za 100 bych si na to nevsadil, ale i tehdy bych očekával, že např. knihovny by měly zařízení, jak to sejmout.

[cronin]

Tuším niekde pod švajčiarskymi Alpami je zakopané dátové centrum, kde sa dá prenajať úložný priestor. Možno tu niekto bude vedieť názov či linku. Bolo by zaujímavé vedieť viac o ich SLA ... a cenách. Opytujúci sa by mohol preskúmať tú možnosť a poinformovať nás.

Btw, čo máte tak zaujímavé na tých 200GB fotiek, že veríte, že o stovky rokov to bude niekoho zaujímať?

[cronin]

SecureSafe

[cronin]

Swiss Fort Knox

[Pat1]

A co tohleve srovnani s laserovou tiskarnou? http://ronja.twibright.com/optar/. Do baliku 500 papiru ulozis 100MB, a vydrzet by to mohlo dlouho. Jen si k tomu pro jistotu vytiskni i zdrojak programu. Predpokladam ze c++ a nejaky unix bude existovat i za 200let (minimalne jako aplikace s emulatorem archaickeho pocitace pro cip implantovany do mozku, nahrazujici mobilni telefon (: )

[TomM]

A zkousels to? Ja jo...a musel jsem jit s hustotou zaznamu HOOODNE dolu, abych z toho vubec neco dostal zpet. Prislo mi, ze jsem se pritom dostal radove nekam ke QR kodum. Pak jsem ty papiry vzal, nadvakrat prelozil, prenesl v kapse a ... bylo po archivu.
Myslenka hezka, ale neco mi tam tezce haprovalo.

[j]

Jen pro zajimavost, existuje jista idea, jak toto vyresit. Technicky to funguje tak, ze se na kotouc nekorodujiciho kovu vypali proste uplne standardni text. Vypali se ve spirale, podobne jako na CD, ale nejsou to pity. Zacina pismem dostatecne velkym, aby bylo citelne pouhym okem a zmensuje se. Tudiz se predpoklada, ze potencielni nalezce za par tisic let bude dostatecne chytry, aby mu to doslo (ze potrebuje neco na zvetseni toho textu). Ty kotouce se ulozi podobne jako jaderny odpad => nekam hluboko pod zem, aby je jen tak neco neohrozilo. Zaroven se k nim prida neco jako Rosettska deska => abeceda, zakladni slova ... coz by melo stacit o odvozeni vyznamu i v pripade, ze pouzita rec zanikne.

[pavel]

Na dlouhodobé skladování dat se už mnohokrát osvědčil pergamen...

[Šangala]

Každý den vypálit jedno CD (nezaměňovat s médiem na prd, tedy DVD), za slabý rok máš všechny založené a tak furt pokračuješ dál, dokud se budou mechaniky vyrábět (jak se přestanou, musíš změnit médium). Za 100 let je to jen 36500 cd-ček, po 10-ti ks je zatav do igelitu a hoď vždy do sklepa.
Pravděpodobnost, že CD vydrží 1 rok mimo slunce je téměř 100 %, navíc po 5 letech máš s vysokou pravděpodobností čitelných 5+ ks od všeho.
Tím chci hlavně říct, že to lze uchovat jen „běžícím procesem“ ne „(jednorázovou) akci“ - to lze jen vytesat do žuly - bit-ově.

[...]

Na dlouhodobou archivaci mikrofiše. Ty jsou na to dělané, vyzkoušené, vydrží a na prohlížení za 100 let, když nemáš originální prohlížecí stroj, stačí velká lupa.

Na videa můžeš zapomenout.

Elektronická podoba záznamu na desítky a stovky let v bezúdržbovém úložišti je nerealizovatelná. Ani se mi nechce věřit, že to myslíš vážně.

[BigWrigley]

Dobry den,

Obavam se, ze budete muset trochu slevit z vasich pozadavku. Co byste rad, je zrejme nerealne technicky, nemluve o penezich. Desi me predstava, ze kdyz mi odejde disk, prijdu o treba 2TB dat... a tak pouzivam pasky. Drive DDS5, ted LTO3 (400GB) nebo LTO2. Zapisuje to tak 40MB/s, mechaniku sezenete za cenu vetsiho HDD, nova media za par korun treba na Aukru. Je to enterprise technologie a stale se vyviji, LTO3 mechanika cte i LTO1 media. Aktualne napr. LTO5 paska ma 1.5GB.

A.

[lertimir]

cena většího HDD je cca 30k?

[BigWrigley]

Pochopitelne pouzite mechaniky...

[maros]

LTO5 ma 1,5 TB.

[j]

Pasky jsou daleko nespolehlivejsi nez hdd. Pro ucely archivace je treba je pravidelne kontrolovat a provadet pravidelne prepisy na nove, coz, vzhledem k jejich kapacitam a rychlostem jsou operace na dny a tydny.

Tu "enterprise" technologii proto nechce nikdo uz par let pouzivat. Taky nam pred par lety vnucovali na zalohovani pasky ... ze prej to jinak prece nejde ... poslali sme je doprdele, poridili sekundarni diskovy pole a nemusim resit, ze kvuli ziskani dat potrebuju nekde mit X TB mista, abych to tam moh rozbalit ... proste pripojim snap a mam data.

[lertimir]

Já pásky až zas tak moc nezatracuji. Záleží na tom, co a jak potřebuji mít zálohované. Pokud je záloha jen obraz současného stavu, tak páska je nepotřebná, ale pokud záloha má obsahovat historii, tedy potřebuji být schopen rekonstruovat datový stav v kterémkoliv dnu třeba za minulého půl roku nebo déle, mohu potřebovat i při inteligentních inkrementálních zálohách 10 i více násobný datový objem než je aktivní diskový prostor, a navíc ty zálohy nepotřebuji rychle a když je budu potřebovat tak v nějakém speciálním režimu ne jako obnova stávajícího systému. To je jeden příklad kde v enterprise provedení se pásky pořád používají.

Ale je pravda, že množství případů kdy jsou efektivní klesá.

[j]

Mam na poli zalohy/archivy za cca 1/2 roku dozadu. Vyjde to radove levnejs, nez totez na pasky. Pokud bych chtel vic, staci pridat dalsi disky. Samo, porizovat si 20+ diskovy pole na archivaci fotek domu ... neni asi moc realny, ale totez plati o paskach.

Vyhoda je predevsim vtom, ze je to bezobsluzny - netreba vymenovat pasky v zasobnicich, na coz se driv nepo pozdejs zacne kaslat ... a pak se zjisti, ze zaloha/archiv neni.

[BigWrigley]

Ovsem, neni to takovy komfort a autor dotazu asi nechtel mit ve sklepe zapnute diskove pole. Navic, provozovat diskove pole bez zalohovaneho napajeni neni optimalni a takhle je to jedno s druhym.

[j]

Pole nemusi byt zapnute, staci prece, kdyz se zapne v okamziku, kdy se vytvari zaloha. A pokud se bojim, ze zrovna v tom okamziku vypnou proud ... tak uplne stejnej problem mam s paskou.

[BigWrigley]

Bohuzel mam takovu zkusenost, ze prave zapinani a vypinani diskovych poli (ve smyslu roztoceni/zastaveni disku) je u poli ta nejrizikovejsi operace. Stalo se mi (opakovane) ze pokud pole, ktere je zapnute treba rok, dva, po zapnuti vykopne nejaky disk z raidu. Nastesti to byl vzdy jen jeden...

[the.max]

Z dlouhodobeho hlediska, ktere je jiz overeno stovkami let, je hinena desticka nebo kamen. Bohuzel, nevyhoda je nizka kapacita, velmi vysoka doba zaznamu i cteni a pri vetsich obemech dat tez narusta potreba vesiho skladovaciho prostoru.