HW novinky: Facebook bude ukládat data na Blu-ray disky. I ta vaše.

7. 2. 2014 | David Ježek | Hardware | 4599×

To by to nebyl Facebook, aby zase nevymyslel něco, co mu umožní efektivněji skladovat naše osobní data :-). Na svět tak pomalu přichází jeho systém využívající tří/čtyřvrstvé BDXL disky. Kromě toho si povíme něco i o 20nm ARM SoC od Qualcommu, jenom pasivně chlazeném Radeonu a paměťových kartách od Kingstonu s novou rychlostní specifikací.

Obsah

• Facebook vyvíjí systém skladování dat na Blu-ray discích
• Qualcomm chystá 64bit ARM SoC vyráběné 20nm technologií
• PowerColor představil pasivně chlazený Radeon R9 270
• Kingston uvedl SDHC a SDXC karty s novým UHS-I U3 rozhraním

Facebook vyvíjí systém skladování dat na Blu-ray discích

V kalifornském San Jose se před pár dny konal Open Compute Summit. Přítomni byli i zástupci Facebooku, přičemž vicepresident Jay Parikh přišel s velmi zajímavým projektem. Ve Facebooku na něm již nějakou dobu pracují a jeho cílem je snížit náklady na pořizování i provoz datových úložišť pro data, u kterých není požadována okamžitá přístupnost. Dosavadní systémy postavené na klasických pevných discích s magnetickými plotnami jsou totiž na provoz takových typů záloh poměrně nákladné.

Asi netřeba složitě polemizovat nad tím, proč to Facebook řeší a jak urgentní to pro něj je. Sociální síť se zhruba miliardou uživatelů, z nichž podstatná část dennodenně produkuje kvanta obsahu od textů, přes fotky a videa, dají zabrat. Nemluvě o logování všeho možného. Zkrátka ani na vteřinu nepochybuji o tom, že Facebook skladuje všechno myslitelné a jeho datové nároky stále rostou.

V tuto chvíli Facebook testuje vlastní serverový rackový systém pro online „cold data“ úložiště na bázi Blu-ray disků. Používá k tomu modulární architekturu, kdy disky jsou po dvanácti v dílčích krabičkách, ty jsou dále vyštosovány ve větších celcích a vše je snadno přístupné technikům pro případné opravy, náhrady disků či přesun do „ještě studenější zálohy“.

Facebook přitom zvolil technologii standardní BDXL disků, tedy nikoli DataTresorDisc či M-DISC (ty zatím kotví na DVD, Blu-ray verze se teprve vyvíjí), tedy podle přepočtu by mělo jít o čtyřvrstvé BDXL disky s kapacitou 128 GB, případně třívrstvé 100GB (v tom případě by ale propočet nedával žádnou rezervu pro režii či metadata a kontrolní součty nad rámec samotné BD technologie). Jednotlivé disky v racku si vždy vyloví robotický systém s mechanikou, podle potřeby.

Podle měření poskytuje tento systém úsporu pořizovacích nákladů na úrovni 50 %, provozní náklady dokonce klesají o 80 %, ve srovnání s HDD technologií. Životnost BDXL disků předpokládá Facebook na hodnotě 50 let, což mi zní poměrně optimisticky, na druhou stranu jsou schopni zajistit diskům lepší a stálejší skladovací podmínky, než jsou typické domácí a upřímně, kvalitní vypálená média tak velkým fofrem neodcházejí, takže 50 let může být dosažitelné (ale zdůrazňuji: Facebook se nepochlubil s konkrétním typem BDXL disků, použitou odrazivou/záznamovou vrstvou).

Nicméně do budoucna je jasné, že tento systém Facebook nasadí po celé planetě, všude kde má datová centra. Lze tedy očekávat hodně moc velkou objednávku BDXL disků, která paradoxně ukáže světu, že 12centimetrové optické kotoučky ještě zdaleka nejsou mrtvé. Snad to ale ani na dočasnou dobu nevyžene ceny BDXL pro běžné spotřebitele, pokud bude nějaký významný výrobce uspokojovat objednávky Facebooku. A třešnička na závěr: zatím Facebook ve svých ostrých serverech používá SSD enterprisové kvality. Do budoucna je nahradí spotřebitelskými pro netbooky: vyjde to levněji a asi nepotřebují takovou výdrž v kontinuálním zápisu, jakou enteprisová SSD poskytují. Facebook evidentně hodlá velmi optimalizovat své provozní náklady.

Krátké video ukazující nový Blu-ray systém naleznete zde.

Qualcomm chystá 64bit ARM SoC vyráběné 20nm technologií

20nm éra pomalu klepe na dveře a jedním z prvních, kdo za ono klepátko tahá, je Qualcomm. Firma chystá nové ARM SoC Snapdragon 810, které bude na této technologii vyrábět u TSMC. Oproti dříve ohlášenému Snapdragonu 410 jde konečně zase o čip stavějící kompletně na upravených jádrech, která si in-house vyvíjí sám Qualcomm. Těšit se tak můžeme na nová CPU jádra Krait využívající 64bitovou instrukční sadu ARM. Doprovodí je 4 MV L2 cache a pracovní frekvence má šplhat až k 2,5 GHz. Údajně pak přijde rovnou i 8jádrová varianta.

GPU část bude mít na starosti jádro Adreno 430 taktované na 500 MHz, paměti pak budou moci být jak typu LPDDR3, tak LPDDR4 (ty pracují oproti LPDDR3 na dvojnásobné efektivní frekvenci). Očekávat lze schopnosti podobné současným typům, včetně podpory 4k/UltraHD videa, případně přímo formátu H.265 (HEVC). Výroba u TSMC, jak již naznačuje pracovní takt, má být typu HGMK (high-k metal gate), tedy klasická procesorová s optimalizacemi na vysoké pracovní frekvence. Termín uvedení na trh nebyl dosud oznámen.

PowerColor představil pasivně chlazený Radeon R9 270

Jak se dalo čekat, opět je to PowerColor, kdo s další generací grafik AMD, posouvá hranice pasivně chlazené verze. Konkrétní model nese označení R9 270 SCS3 a svými parametry o něco převyšuje dřívější Radeon HD 7850 – s ním sdílí 1280 stream procesorů, ale vyšší jsou takty. Karta je tak výkonnější o dobrých 20 %, stále pasivně chlazená.

Pokud tedy vyhlížíte něco, co si poradí s moderními hrami minimálně ve FullHD, pak je toto nejvyšší rozumná a možná volba. Jen je potřeba vyčkat, až se objeví v cenících. Cenu lze očekávat vyšší o 15 až 20 procent oproti aktivně chlazené verzi. Na druhou stranu ale osobně přestávám vidět smysl v těchto modelech, když i aktivně chlazené grafiky jsou dnes tak extrémně tiché, že nemá smysl se pasivní verzí vůbec zabývat, i s ohledem na morální životnost grafické karty v herním PC.

Kingston uvedl SDHC a SDXC karty s novým UHS-I U3 rozhraním

Měl bych se vlastně opravit, rozhraní nové není, nejde o UHS-II, ale o „staré dobré“ UHS-I. Nová je pro Kingston rychlostní specifikace U3, která definuje minimální garantovanou rychlost čtení i zápisu na hodnotě 30 MB/s. Kingston nyní uvedl na trh tři paměťové karty: 16 a 32GB SDHC a 64GB SDXC vybavené touto garancí.

U paměťových karet střední a vyšší třídy bývá zvykem, že tato garance je výrazně překročena. Tak jako jsme zvyklí na SDHC Class 10 karty (s garancí 10 MB/s), že zvládají i více než dvojnásobek, podobně je na tom Kingston. Nové karty umí čtení rychlostí až 90 MB/s a zápis až 80 MB/s. Jistou výhodou je, že ceny nejsou, s  ohledem na vysoké rychlosti, nijak krvavé: za 16GB verzi počítejte se 750 Kč, 32GB je výhodnější za 1 200 Kč a 64GB s cenovkou 2 200 Kč jednoznačně vede. Pak to také chce přístroj, který tuto rychlost využije. Nemusí to být zrovna 4k videokamera, klidě postačí D-SLR či bezzrcadlovka s podporou UHS-I.

       

Komentáře

[pochybnik]

I moje? A kde je jako vezme?

[Michal Kubeček]

Z logů stahování Facebook tlačítek a ikonek na všech možných webech, z toho, co o vás napíšou ti, kdo Facebook používají atd.

[pushkin]

A to je na tom to nejhorší...

[xkucf03]

Proto je mám zablokované.

BTW: kdo děláte nějaké weby a máte potřebu tam ty „sociální tlačítka“ mít, dejte si tam aspoň Social Share Privacy.

[gtz]

Je to mor, který se šíří internetem.

[Tutor]

Tlačítka lze narvat na shitlist do adblocku. S debily kolem sebe ale nic nenadelate.

[knedlik]

https://disconnect.me/

[Ondra]

Disconnect

a uz me tyhle zmrdoviny nemusi trapit

[David Jaša]

Překvapilo mě, že ještě žijou a mají se k světu. Loni jsem přešel jinam, protože nebyli schopní půl roku updatovat a weby přestávaly fungovat... Není někde aktuální srovnání disconnectu, ghostery, DNTme a dalších?

[heh]

Jestli spadají do US jurisdicke pak HA HA HA.

[Honz]

produkuje kvanta obsahu
Ale jaksi ten obsah tam nějak schází...

[frr]

Tomu pasivnímu radeonu moc nerozumím z hlediska chlazení. Pro volnou cirkulaci ve volném prostoru jsou takto hustá žebra nesmyslná, nepřinášejí výhodu. Pokud by ten radiátor něco napříč profukovalo (průvan), tak prosím. Jasně - pasivně chlazené vnitřní součástky mají smysl jedině takový, že je kolem průvan od nějakého centrálního ventilátoru skříně, který bude pomalý a tichý. Ale zrovna tady bude průvan těžko, kolmo ke kartě. Jasně - vzadu je výdechová mřížka. Ale ta bude vyrábět průvan jenom v těsné blízkosti slotové záslepky. 75% plochy těch žeber bude bez průvanu. Nechápu. Dobré snad jako oční výtěr pro puberťáky. Prodávat bych to nechtěl - věčně řešit nahnilé kusy v reklamaci...

V této souvislosti: jeden náš relativně zazobaný zákazník si šel důsledně za svým, chtěl postavit dokonale pasivní rackmount PCčko, tak si ho nakonec sám poskládal = rozhodl se pro praktickou zkoušku. Vzal skříň cca 19"/4U s minimem ventilačních otvorů, namontoval pasivně chlazený napájecí zdroj (aspoň že ten měl žebra venku), průmyslový motherboard, na procesor pasivní chladič, pasivně chlazenou grafiku. Hádejte jak to dopadlo Ani to dlouho netrvalo, použité materiály nemají moc velkou tepelnou kapacitu.

[Aleš Kapica]

Jasně - pasivně chlazené vnitřní součástky mají smysl jedině takový, že je kolem průvan od nějakého centrálního ventilátoru skříně, který bude pomalý a tichý

To jsou plky. Můj domácí stroj má za sebou rok provozu a je to zcela v pohodě. Akorát si musíš zvyknout na fakt, že teploty jsou trochu jinak rozložené, než když ti to nějaký větrák uvnitř honí.

Pokud jde o hustotu žeber, tak z mého pohledu je efektivnější mít u pasivu žebra těsněji u sebe - rozdíl teplot okolního vzduchu a vzhuchu mezi žebry si tak vynutí cirkulaci.

Na adresu tvého zákazníka mohu jen říct, že na to šel zcela blbě. U bedny naležato nikdy nebudeš mít komínový efekt. Moje bedna má děrovaný vrchlík - pod ním jsou 3 velké ventilátory, které ale nemám zapojené!!! Nechal jsem je tam pro případ, že by to s čistě pasivním chlazením stroj nezvládal.

[Petr Ježek]

No, když to dělá trdlo... :) Jinak k názoru autora: Pasiv znamená dvojí plus, Vámi nezmíněné - sníženou spotřebu energie o kurvítko v podobě větráků méně. Vlastním stroj s pasivním Radeonem od Asusu, který nedávno oslavil své šesté narozeniny. A ne a ne pořádně topit, naopak mu léty chladnou žebra :)

[xxxs]

to by mohlo znamenat, ze sa zhorsil prevod tepla z cipu na chladic.

[frr]

To by mohla být pravda jenom za hodně specifických okolností:

1) pokud je chlazený čip schopen škrtit příkon při vyšší teplotě (thermal throttling)

a/nebo 2) pokud má čip nějakou další cestu, kudy se může chladit. Pokud přijmeme předpoklad, že plošák je dost mizerný chladič (ve srovnání s hliníkovými žebry), tak tahle okolnost není příliš pravdivá...

Pokud 1) ani 2) v zásadě neplatí, bude výsledkem vyššího tepelného odporu (součástka-chladič) jediné: vyšší ustálená teplota součástky, která generuje teplo. Teplota lépe či hůře přivázaného chladiče se nezmění, za jinak stejných okolností (příkon, teplotní odpor chladiče vůči okolí).

[xxxs]

mozno iba uschlo lepidielko.

[jehovista]

K cemu jsou Facebooku data, ktera nejsou okamzite pristupna? To tam zalohuji "smazana" data, ke kterym uzivatele nemaji pristup, ale nekdy v budoucnu se muzou nekomu hodit? V clanku mi chybi nejaky priklad, protoze me fakt nic nenapada.

[frr]

Možná by o takové write-only zálohovací řešení byl zájem na volném trhu, všelijakých "archivářů" je po světě potenciálně dost

Spíš mi vrtá hlavou, k čemu jsou čmuchalům "cold" data na plackách - pak se totiž nedá prohledávat obsah. Čili leda si k tomu ještě extrahovat před "uložením k ledu" nějaký index, metadata... něco podle čeho by to kompro šlo případně později dohledat a vytáhnout z archivu v plném znění.

Jaká je vůbec ekonomika provozu takové věci, "business model"? To musí mít ten občasný netušený "zlatý valounek" velkou cenu, pokud stojí za to kvůli němu archivovat nastojato takovou hromadu hlušiny...

Pokud by to mělo být na skutečně veřejně dostupná data, mělo by to hrozný přístupový čas - muselo by to mít svérázné uživatelské rozhraní. Třeba ve výsledku dotazu nebo někde u odkazu na FB ikonka značící "tato data jsou v mrazáku - pokud o ně stojíte, počkejte minutu a my Vám je vystavíme." (plus countdown k refreshi nebo tak něco)

[xkomczax]

A co takhle "Omlouváme se, havaroval nám jeden disk, ale nebojte, data budou do minuty obnovena"? Klidně i s tím tvým countdownem...

[frr]

Snížit redundanci disků a spoléhat na zálohy? ... teoreticky snad, ale moc tomu nevěřím... pořád je to dost velký traffic, data na točivém disku jsou relativně volatilní... pokud by zálohovali po souborech, nikoli celý disk nastojato... pokud by zhavaroval disk, tak by se po souborech obnovovalo... a co vlastně by se obnovovalo a v jakém pořadí, aby se minimalizoval mariáš s CDčkama... zajímavá myšlenka

[deda.jabko]

pořád je to dost velký traffic, data na točivém disku jsou relativně volatilní...

u distribuovanych systemu se dnes pouziva hodne append-only zapis dat, takze to s tou volatilitou to neni tak horke. a co vim, tak treba haystack pro ukladani fotek, je tak navrzeny, takze v tomto problem nebude.

[Stanislav Brabec]

Když najedete na nějakou stránku, tak se vám nerozbalí staré příspěvky. Ten, kdo tam chodí každý den a roluje do historie, bude to mít někde v cache. Ten, na jehož stránku někdo zavítá jednou za rok, bude mít na diskovém úložišti třeba jen první dvě stránky. Nic jim nebrání, aby zbytek uložili na BDXL zálohu. Než se chudák uživatel k tisícímu videu dokliká, bude to mít úložiště připravené.

Umění designérů GUI spočívá ve zdržování uživatele takovým způsobem, aby byl neustále zaměstnán klikáním a rolováním, a vůbec si neuvědomil, že čeká, než se připraví data. Skvěle to zvládá třeba Apple.

A také lze pokládat offline databázové dotazy do kompletní databáze. Třeba pro zákazníka, který se snaží vytěžit nějaká specifická data, která se běžně neindexují. Dotaz se holt bude zpracovávat třeba týden.

[xkucf03]

Umění designérů GUI spočívá ve zdržování uživatele takovým způsobem, aby byl neustále zaměstnán klikáním a rolováním, a vůbec si neuvědomil, že čeká, než se připraví data. Skvěle to zvládá třeba Apple.

BTW: to je teď hrozná móda ty weby, které stránkují tak, že když doroluješ na konec stránky, tak načtou další položky. Nejdřív to sice vypadá fajn, že nemusíš klikat, ale potom zjistíš, že:

• nemůžeš kliknout na odkazy v patičce nebo si ji aspoň přečíst, protože to hned odjede pryč
• nemůžeš kliknout do vyhledávacího políčka a něco na tom webu najít, protože jsi třeba na desáté „stránce“ a při odrolování nahoru to zase začne načítat ty předchozí položky, které předtím zmizely (tudíž vršek s vyhledávacím políčkem odjede pryč)
• když omylem klikneš na nějaký odkaz (místo abys ho otevřel v novém panelu), tak se ztratí pozice, kde jsi byl před tím a musíš jako trotl rolovat desítky obrazovek dolů a hledat, kde jsi to předtím skončil

Ať žije použitelnost a jednoduchost! Na tomhle muselo pracovat jistě několik UI/UX expertů!

[xkucf03]

Třeba pro zákazníka, který se snaží vytěžit nějaká specifická data

Nebo se ty disky můžou vypalovat rovnou dvakrát a jednu kopii dávat NSA…

[Stanislav Brabec]

NSA nemusí vysvětlovat svým akcionářům astronomické položky za každý exabajt úložiště navíc.

[Jen tak]

On ten článek tak úplně nezmiňuje, o co půjde (zatímco jiné články, věnující se tomuto, to explicitně zmiňují).

Na tato úložiště mají směřovat staré fotky a stará videa, který kdo kdy na facebook nahrál - pokud budou starší , než dané období, a nebude k nim přistupováno, tak se přesunou na toto úložiště, a pokud uživatel nějakým způsobem bude tato data chtít, tak se mu normálně zobrazí, jen to bude déle trvat.

[jehovista]

Me se to moc nezda. Vzdyt to prece scanuji ruzne crawlery. Aby se zaplnila jedna ta krabicka fotkami, tak musis dat dohromady treba milion fotek, o kterych vis, ze k nim nikdo nepristoupi. Kdyby treba prumerny facebookar mel v takovem archivu sto fotek, na ktere se nikdo nepodival od doby, co byly nahrany, tak v jedne takove krabicce budou archivovany fotky od deseti tisicu uzivatelu. No a prijde mi docela pravdepodobne, ze treba polovina z tech uzivatelu se v prubehu roku rozhodne, ze se na ty stare fotky podiva. To znamena, ze ta krabicka pujde do mechaniky patnactkrat denne(a to jen v pripade, ze to nebude fragmentovane pres vic disku). Dopredu se neda urcit, kdo se na stare fotky bude chtit podivat a kdo ne.

[trekker.dk]

No a prijde mi docela pravdepodobne, ze treba polovina z tech uzivatelu se v prubehu roku rozhodne, ze se na ty stare fotky podiva

Řekl bych, že když to vymýšleli, tak se neřídili tím, co ti přijde docela pravděpodobné, ale vzali data z reálného provozu.

[jehovista]

Ja myslim, ze to nevymysleli, ale jenom neco placli a chytli se toho novinari. Kazdy novinar si neco prida a kdyz si to zkusis proklikat, tak zjistis, ze tenhle clanek je pata iterace.

[Kvakor]

To znamena, ze ta krabicka pujde do mechaniky patnactkrat denne(a to jen v pripade, ze to nebude fragmentovane pres vic disku).

Takto to určitě řešené nemají, pokud k datům, které jsou "odarchivované" na pomalé úložiště (jako Blu-ray), někdo či něco přistoupí, tak se zkopírují na rychlejší úložiště (tj. klasické disky) a přístí přístupy budou mírit tam. Prostě jako hiearchická vícevrstevná cache, kde každá další vrstva má delší přístupovou dobu než ta nad ní.

[frr]

Tak mě napadá... k těm crawlerům... není to náhodou tak, že FB má většinu contentu "pouze pro členy klubu"? Třeba se k těm zažloulým fotkám v něčím profilu pavouci z divokých internetů prostě nedostanou...

[deda.jabko]

Videl bych prakticke pouziti v tom, ze FB by nemusel drzet na beznych discich 2-3 repliky dat jako normalne, ale postupne by se replika dat presouvala na opticke disky a v pripade vypadku by se provedla obnova, coz by jim usetrilo jednak misto na discich a taky ucet za elektriku za napajeni techto disku.

Dalsi pouziti je tam odsouvat data pro analyzu, ruzne click-streamy, stastiky, atd. kdy algoritmum staci jen sekvencni cteni a nepotrebuji nahodny pristup.

[ebik]

Existuji data ke kterym se pristupuje v radu jednotek pristupu rocne a staci kdyz budou dostupna do dne od zadosti o tato data.

Napriklad logy statistik pred agregaci. Za normalniho provozu je potreba mit statistiky pouze zagregovane. Kdyz se ale prijde na to, ze se neco agregovalo spatne, nebo se to pri agregaci vubec nepocitalo, tak lze data vytahnout a preagregovat. A vlastne zdrojova data obecne. Dale pak logy provozu. Obcas se zjisti, ze nekde pred pul rokem byla chyba. S logy provozu se da chyba opravit zpetne, nebo ji alespon analyzovat a pak zajistit, aby se priste nestala. Bezne ale neni potreba jit do logu starsich nez treba tri dny.

[jehovista]

Jenze na to jsou dost dobre paskove mechaniky, takze to trochu postrada vyznam.

[Tomáš]

To jsem si myslel, že titulky článků s dovětkem jsou jenom doménou bulvárních plátků jako třeba iDnes, ale koukám, že ten mor dorazil i sem. Prosím autory a editory, vymýšlejte lepší titulky.

[pavel]

During a keynote at the Open Compute Summit on Wednesday, Facebook VP of Engineering Jay Parikh laid out his vision for a storage architecture that encompasses everything from hard disk to flash to — yes — Blu-ray in order to meet the needs of the company’s growing number of applications. ........................ So, while database performance might be critical for applications such as wall posts on Facebook — thus necessitating all-flash servers like Facebook’s new Dragonstone design — it’s markedly less important when it comes to storing petabytes worth of user photos that haven’t been accessed in two years.

Toto je citace ze zdroje.

Možná se mýlím, ale ve výše zmiňovaném odkazu se pouze hovoří o nápadu archivovat data starší dvou let na Blue-ray disky.

[j]

Coz nasledne vede k tomu, ze je to jednaznacna pitomost - od cloveka, kterej nevi o cem mluvi. Protoze vyroba tech BR disku je vyrazne (nekolikanasobne) drazsi, nez drzet stejny objem dat na discich. To plati dokonce i o DVD, kde ty naklady jsou smesne.

Pokud tu pak nekdo mluvi o energetickych usporach .. tak opet, v pripade HDD a nalezite organizaci pole neni problem ten disk normalne defakto odpojit. Zapne se trebas 1x mesicne pri nejaky aktualizaci dat.

Uz par let se ustupuje i od pasek, protoze nevyhody snima spojene jsou takove, ze to nepokryje tech nokolik vyhod. Tudiz defakto vsude, kde neni treba archivovat, ale jen zalohovat (coz je neco jineho) se pouzivaji disky.

[Aleš Kapica]

Což mě přivádí na myšlenku, že mnohem efektivnější by bylo velké úložiště založené na řízených pevných discích. Za normálních okolností by disk odpojený. Nahozen by byl až pokud by na něj přišel nějaký požadavek. Normálně by pak po nějaký interval běžel - data by byla dostupná a pak po nějaké době neaktivity by byl opět odpojen.

[Stanislav Brabec]

Takové robotizované skladiště harddisků by také nemuselo být od věci. Pokud by si někdo objednal milion stejných kusů, tak by klidně mohly být bez elektroniky. Robot by přenesl disk do volného čtecího slotu, připojil elektroniku, sběrnici a napájení.

Navenek by se to tvářilo jak exabajtový RAID s pomalými přístupovými časy.

[Aleš Kapica]

Kam by robot chodil? Byla by to hromada skříní s diskama - a v každé z nich by běžel démon, který by podle příslušných příkazů disky zapínal a vypínal - což by bylo podstatně rychlejší než nějaká fyzická manipulace. Úložiště by mohlo být sdílené po síti a jednotlivé disky by se v pravidelných intervalech kontrolovaly zda-li jsou ok. Pokud by to byla raidová pole, tak by vadný disk oznámil svou cestu do věčných lovišť při průběžné kontrole dřív, než by si na data někdo vzpoměl. Z hlediska spotřeby by to pak nemuselo žrát víc než je nezbytně nutné, protože všechny disky najednou by pravděpodobně nikdo nerozběhnul, pokud by to bylo správně navrženo.

[Aleš Kapica]

Ostatně - souborové systémy pro tento typ úložiště už mám dojem existují.

[Stanislav Brabec]

V případě exabajtového úložiště by už samotný řadič s milionem konektorů byl netriviálně složitý a měl netriviální cenu a netriviální spotřebu. Robotické úložiště disků by mohlo mít podstatně menší množství řadičů.

[sigma]

Když nebudou zapnuté všechny najednou, můžou se porty řadiče multiplexovat. I obyčejné SATA umí hotswap (v praxi ne vždy, ale v principu je to možné tak postavit). Rozhodně jednodušší, než s těmi disky fyzicky manipulovat nějakým robotem.

[Stanislav Brabec]

Psal jsem o úložišti s kapacitou v exabajtech.

Tam už bude robotický podavač mnohem levnější než stovky kilometrů kabeláže s milionem multiplexerů.

[David Jaša]

Spíš bych tady viděl prostor pro vrstvení: například distribuovaný FS skládající se z různých uzlů by řídil, kde jsou data uložena, a třeba by rozhodl, že okamžitě nemusí dostupná žádná z kopií - jednotlivé uzly by pak mohly zapínat/vypínat disky. Pak jsou tu věci jako hierarchické uspořádání disků: věřím tomu, že bcache/dm-cache by mohly časem umět držet "horké" soubory na SSD, aby se mohl disk zastavit a držet poměrně dlouho zastavený (a na druhou stranu pozdržet při vypnutém disku zápisy a vyřídit je až při zaplnění SSD nebo roztočení točidla z jiného důvodu).

Aneb proč vymýšlet složitý a drahý hardware, když to může zvládnout sw, který je z velké části k dispozici?

[sigma]

že bcache/dm-cache by mohly časem umět držet "horké" soubory na SSD

Ona bcache/dm-cache vrstva ví něco o nějakých souborech?

Navíc to není o SSD - jejich spotřeba není řádově jinde než spotřeba HDD, při normování na kapacitu už vůbec ne. Jejich smysl je v high performance oblasti, což je úplně jiný problém než se tady řeší.

Na běžném HW to nemá smysl, když v téhle aplikaci bude třeba pod 1% zapnutých disků v určitý čas. Je potřeba velké množství těch disků nějak s velmi nízkou "standby" spotřebou připojit k jedinému hostiteli. Jinak si tak moc nepomůžu, pokud budu mít zapnuté celé servery s vypnutými všemi disky.

[David Jaša]

Ona bcache/dm-cache vrstva ví něco o nějakých souborech?

u ne-COW filesystémů je to jedno, zapisuje se do stejných bloků, jako se četlo.

Navíc to není o SSD - jejich spotřeba není řádově jinde než spotřeba HDD

Ve W/TB předpokládám - nicméně při hiearchickém uspořádání je potřeba desetina kapacity SSD cache oproti vlastnímu HD, tudíž zastavený HD je celkem úspora.

Na běžném HW to nemá smysl, když v téhle aplikaci bude třeba pod 1% zapnutých disků v určitý čas.

To by měla být práce toho distribuovaného FS, aby to 1 % horkých dat soustředil na 1 % uzlů (nebo i 10 %, furt znatelná úspora oproti 100 %).

[Aleš Kapica]

V případě exabajtového úložiště by už samotný řadič s milionem konektorů byl netriviálně složitý a měl netriviální cenu a netriviální spotřebu. Robotické úložiště disků by mohlo mít podstatně menší množství řadičů.

Tak především je hovadina takové úložiště budovat nad jedním řadičem. Ve skutečnosti je co skříň - to samostatný stroj s vlastním OS. Obvykle tyhle věci mají IPMI, takže je lze udržovat ve vypnutém stavu a nahazovat podle potřeby. A i pak - pokud by byly disky ve stavu OFF by jejich spotřeba nestála za řeč.

[Stanislav Brabec]

Ale srovnejte si cenu třeba IBM SONAS v exabajtové konfiguraci a robotizovaného úložiště odpojených disků nebo optických kotoučků se stejnou kapacitou.

IBM SONAS má jistě o několik řádů vyšší datovou propustnost, ale o to v tomto řešení evidentně nejde.