Amazon Glacier a riziko špičiek (burst downloadov)

13.9.2012 09:28 | Přečteno: 1519× | poslední úprava: 14.9.2012 14:45

Nebudem tu prepisovať to, čo už napísali iní, napr. na http://www.wired.com/wiredenterprise/2012/08/glacier/ alebo http://www.innerexception.com/2012/08/is-amazon-glacier-really-as-cheap-as-it.html. No nedá mi pozastaviť sa nad tým, že Amazon má na stránke s prehľadom poplatkov za Glacier informáciu o poplatkoch nielen ako poznámku pri Free (platí len pri max. downloade 5 % mesačne, navyše rozloženom po dňoch) a malým písmom, ale reálne má poplatky (resp. spôsob ich výpočtu) popísané až vo faq (pod Learn more). Toto už snáď ani nie je možné nazvať reklamštinou, ale skôr prachsprostým zavádzaním. Ok, ale čo s tým.

Predpokladajme, že na Glacier plánujete odosielať (ideálne zakryptované) zálohy. Mesačné poplatky za uloženie x gb sa vypočítajú veľmi jednoducho. Ako to ale bude v prípade, že Vám zhorí disk a budete chcieť svoje dáta obnoviť zo zálohy?

V závislosti od toho, aké veľké archívy budete requestovať a s akou frekvenciou, môžete za daný mesiac, kedy ste obnovovali 100GB zálohu zaplatiť od 13 do 191 USD (!). Pokiaľ chcete ušetriť, mali by ste svoje požiadavky rovnomerne rozložiť do celého mesiaca a nežiadať nikdy viac ako jeden archív naraz (teda vyžiadať jeden archív, počkať 4 hodiny, vyžiadať druhý archív..). Je to tým, že tzv. peak hourly retrieval sa počíta z pohľadu serveru - throttlovaním downloadu žiadnu úľavu nedosiahnete (v čase sťahovania už ste vlastne prebehol charging).

Platí teda pravidlo 2+ krát meraj a raz rež a predtým, než začnete do Amazonu ládovať dáta mali by ste si zodpovedať aspoň tieto otázky:

• na aké veľké archívy budete zálohu sekať
• koľko ste ochotní za fullrestore zaplatiť
• aká cca veľká je vaša záloha
• ako dlho ste ochotní na zálohu čakať
• koľko hodín denne ste ochotní/možete restorovať
• akou rýchlosťou dokážete sťahovať

Na uľahčenie výpočtu môžete použiť tento spreadsheet (pre editáciu si ho uložte ako kópiu): google docs link (disclaimer: bugs are possible)

update: fixnuté náklady na obnovu 100gb dát.

       

Komentáře

[snajpa]

A tohle je nekdo ochotnej pouzivat? Prosim vas, z tech, kdo jo, reknete mi proc a co vas k tomu vede. Rad bych to pochopil.

[cezz]

Ked sa k tomu dokopem, planujem to pouzit na pravidelnu mesacnu zalohu par webov, ktore teraz zalohujem dost nepohodlne a z toho dovodu aj dost nepravidelne. (tam je kriticky faktor cena, keby slo o profi riesenie tak to najskor riesim inak)

Tiez uvazujem, ze to pouzijem na dlhodobu zalohu fotografii, kde sa vlatstnymi prostriedkami k danej cene a spominanej spolahlivosti v domacich podmienkach proste nedostanem.

Inak by som povedal, ze je to super riesenie pre pripady, kedy su zalohy na dlhsie obdobie vyzadovane zakonom a realna potreba pristupu k datam je nepravdepodobna. Co sa tyka ceny za obnovu dat, tak mi to pripada, ze ak je to pre niekoho privela, mozno tie data nem zmysel zalohovat.. (alebo ich zalohovat nejakym inym sposobom)

[jose17]

dokazete zabezpecit 99.999999999 % spolahlivost ulozenia dat? ja so svojim externym usb wd diskom ulozenym v rovnakej miestnosti ako pocitac rozhodne nie. takze mozny dovod preco o glaciere uvazujem: paranoja.

[snajpa]

A Amazon to garantuje? (ted to nema byt flamebajt, realne mne to zajima)

[jose17]

pri s3 ano. u glaciera by to mohlo byt podobne (ale nenasiel som)

[snajpa]

Asi jsem slepej, ale vidim tam jenom SLA co se tyce uptime, ne uchovani dat...

[jose17]

jo, uz som si to vsimol aj ja. kazdopadne, ci uz sla je alebo nie je, amazon nie je nejaka pidifirma a na ich storage rieseniach stavaju svoj business trebars tarsnap alebo dropbox, takze stale by som im veril ovela viac ako svojim diskom so smartom a od vyroby chybnymi (maskovanymi) sektormi..

[snajpa]

Takze duvod, proc to lidi pouzivaji = marketing zas a znovu :) Dobre vedet.

[jose17]

jj, je to o dovere. podobne ako pri open source.

[cezz]

Viz moj comment nizsie.

[cezz]

Dal si zly link, je to priamo pri popise sluzby. "annual durability of 99.999999999% for an archive"

[snajpa]

No, ze je v popisu sluzby napsano, ze je to na to navrzene, jeste neznamena garanci :)

[jose17]

ano, ale stale tam nepisu o tom, ze by taku spolahlivost niecim garantovali.

[cezz]

To je pravda, tak beriem spat. Na druhej strane je nejaka podobna sluzba, ktora by toto nejako garantovala? (myslim tu spolahlivost) Nejak si to neviem predstavit, ako by to realne malo byt ratane. (a overitelne zo strany zakaznika)

[Michal Vyskočil]

dokazete zabezpecit 99.999999999 % spolahlivost ulozenia dat?

Já ne, ale taky nevím o nikom, kdo by 9 devítek nabízel.

[asdfasdf]

2TB disk najlacnejsi stoji 86€ sa ludia spamatajte!!! Natiahnite cez neho TrueCrypt AES s 25 pismenovym heslom a keysuborom a na to zalohujte...

[jose17]

ma v sebe zabudovany raid1 a hostovanie vo vzdialenej lokacii? navyse naco by som platil 1.9 TB nevyuziteho miesta

[snajpa]

Si rikam, ze bychom ve vpsFree nejakou takovou sluzbu mohli udelat za *normalni* penize... Kdyby byl zajem, zaklad naprogramovanej mame - pristup pres WebDAV, SFTP (bez SCP ale, cisty SFTP).

[jose17]

noooo.... tak to by ma celkom zaujimalo..

[Marián Kyral]

To by mně taky zajímalo. Pro mně jsou nejcenější fotky. Jpegy nahrávám na flickr, ale chtělo by to někam nahrát i rawy. A těch už bude tak 300 - 400 GB.

[i3kar]

a takych ako ty budu tisice

[Marián Kyral]

A to je dobře, nebo špatně?

[snajpa]

Kolik dat tak potrebujes ukladat a jak castej pristup k nim potrebujes? Teda otazka plati obecne na vsechny, co by meli zajem.

[snajpa]

Vychazi mi to pri uctovaci jednotce "250GB" asi na 200 Kc za jednu mesicne, tzn. 800 Kc za 1TB. Dalo by se?

[Jakub Lucký]

A jak provozované? Na jednom stroji, nebo mirror? Uložené v RAIDu, nebo plain? Na jakém spojení?

[snajpa]

Jedna velka masina storage masina (Xeony 2600, 128GB RAM, Supermicro double-side storage chassis), hromada RAID5 pospojovanych pres LVM (pokud to nevymyslime lip, to je k diskuzi), na standardni vpsFree lince (tzn. hodne silne do NIX/SIX, ale trochu min nadseni bychom byli pri vetsim provozu do zahranici). No jasne, ze by se to dalo mirrorovat, ale to by tu cenu zvedlo na dvojnasobek (navic mit zalohu zalohy, yo dawg, I heard you like backups...)

[PetrHL]

Já na zálohy používám http://disk.wedos.com/ a zatím spokojenost. Zálohuju každý den scriptem. 30GB/50Kč měsíčně, 100G/100, 1TB/300. Včera měli slevu 40% na nové objednávky. Je tam sice limit na počet souborů, ale truecryptový oddíl to jistí.

[snajpa]

Tak ja bych si k Wedosu v zivote nic nedal, uz jenom kdyby mi melo vadit jak spamujou ceskej internet se svyma uzasnyma nabidkama (navic jsem jeste nepotkal cloveka, kterej by napr. ty jejich VPS chvalil - teda krome tech, kteri je temer nevyuzivaji).
Kdyz vidim tu cenu, tak si rikam, ze budto to musim prepocitat, ze jsem se asi nekde seknul ve vypoctu, nebo tu kapacitu prodat vikrat, nez realne je (overselling), nebo pouzit nejlevnejsi desktopovy hardware (coz by se sice dalo, ale mne uz rozmazlilo Supermicro )

[PetrHL]

Já VPS chválím a snad ji i používám. Mám na ní MySQL DB s asi 10M záznamů, jede na tom web, který tu DB docela používá, přistupuje se tam i z externích programů, které tam stále něco kutí. Teď mám 3GB RAM a 90GB HDD, předtím jsem měl jen 1GB RAM a bylo to velice silně na hraně, možná už za ní.

Občas se mi stávalo, že VPS zdržovalo čekání na I/O. Po přechodu na vyšší variantu problém nemám vůbec. Chodí to skvěle (klep, klep na dřevo). Asi díky více RAM.

Desktopový HW tam rozhodně nemají. Stačí se mrknou na jejich web.

[snajpa]

V pohode, ja jenom vychazim ze statistiky - od nas k Wedosu tusim zatim nikdo neodesel, ale od Wedosu k nam (vpsFree.cz) uz nekolik lidi. Ne ze bych to chtel nejak hrotit, jako konkurenci je neberu, vpsFree je proste jenom jina volba a komu to vyhovuje, ten to voli - neni to komercni aktivita, aby mi zalezelo na pospinovani "konkurence" a premlouvani ostatnich

[jose17]

mne by vyhovovalo: kapacita 200 GB (kludne bez mirroru), uploadovat nebudem rychlostou viac ako 300 kB/s, download kludne obmedzeny na 1 MB/s (prip. aj tak, ze sa bude dat stahovat len mimo spiciek). a cenu bych si predstavoval do 50 Kc mesacne (s dph).

[snajpa]

Aha, no, za tu cenu by se nam to ani nezaplatilo.

[Marián Kyral]

Na Flickru platím 45 USD na dva roky, což je nějakých 850 Kč. V ceně je neomezený upload i download. Ovšem jen fotky (jpeg) a videa.

To množství dat, které tam za takovýchto podmínek mají, je pro mně nepředstavitelné. Ale Yahoo si to může zřejmě dovolit. Infrastrukturu mají společnou s ostatními službami a na HW mají jistě dojednány speciální slevy.

Já osobně bych dal za 500 GB maximálně 2 000 Kč/rok.

[jose17]

s amazonom sa dokazem na takuto hranicu dostat pri predpoklade, ze robim jeden fullrestore (optimalne rozlozeny) raz za 4 roky (co by pri sekundarnej zalohe - primar ide na externy usb disk - stacit). tak mozno toto je finalna odpoved na Vasu prvu otazku

[lertimir]

Mě to celé připadá jako řešení pro velké firmy jako náhrada za páskové jednotky. Pokud budu mít ukldat něco jako 10 TB měsíčně třeba ve 100GB kusech v objemu uskladnění na 2 roky, a potřebovat jen občas něco. Tak se dostanu na ceny, které jinak těžko realizuji.

[gtz]

No já bych použil nějaké SAS/SATA pole s možností doplnit počet disků dle potřeby. Ceny za tyto pole jsou dnes celkem na nízké úrovni. Pro hraje rychlost obnovy dat. V případě obnovy 100GB po netu by tato operace trvalo celkem hodně dlouho a stejně budu čekat než se stáhne část zálohy a pak musí udělat restore, který může trvat taky hodně dlouho. No já sám bych použil nějakou FC/SATA hlavu a to celé bych doplnil křížem nějakým LTo robotem umístěným někde jinde.

[Josef Kufner]

V případě obnovy použiješ kabelový přenos. Hodíš nový disk do kabely a odletíš k zálohovacímu serveru si to zkopírovat. Malý výlet jako bonus.

[gtz]

Celkem hodně drahý a pomalý špás. Výlet jako bonux, ale pro velkou firmu to může být likvidační. Odpovídal jsem na to jak psal, že by velká firma mohla tím nahradit nějakou pásku. Alternativu vidím nějaké malé řešení na bázi 2U/4U serverů vybaveného HS disky. Udělal bych na server/storage full zálohu pak bych stroj umístil někde mimo barák a přes geocluster bych tam zálohoval jen inkrementy. V případě velkého průseru by data mohly být nazpět skoro okamžitě.

[lertimir]

Jenže pokud jsem to dobře pochopil tak jejich učet je 1 cent za jedno giga za měsíc? (bez ceny za obnovu) což je tedy $10,24 za měsíc za tera a za ty dva roky něco jako 250 TB dává režii $2 500 za měsíc, tak to nevím jak se to ve 2U/4U nákladově provede za takovou cenu. A Typické použití které mne napadá, že firma si bude archivovat záznamy bezpečnostních kamer. (Stejně se na ně nikdo v naprosté většině případů nebude dívat, ale když by byl problém tak je možné záznam najít probrat.) A takových operací jsou desítky, které se zaarchivují a ve většině případů je nikdo nepotřebuje, ale je dobré je mít pro "strýčka příhodu".

[lertimir]

A ještě pokud chci se dovědět nějaké záznamy půl roku staré, tak mne zase tak moc trápit nebude když jejich zpřístupnění je v rozměru hodin.