HW novinky: Facebook bude ukládat data na Blu-ray disky. I ta vaše. (diskuse)

[pochybnik]

I moje? A kde je jako vezme?

[Michal Kubeček]

Z logů stahování Facebook tlačítek a ikonek na všech možných webech, z toho, co o vás napíšou ti, kdo Facebook používají atd.

[pushkin]

A to je na tom to nejhorší...

[xkucf03]

Proto je mám zablokované.

BTW: kdo děláte nějaké weby a máte potřebu tam ty „sociální tlačítka“ mít, dejte si tam aspoň Social Share Privacy.

[gtz]

Je to mor, který se šíří internetem.

[Tutor]

Tlačítka lze narvat na shitlist do adblocku. S debily kolem sebe ale nic nenadelate.

[knedlik]

https://disconnect.me/

[Ondra]

Disconnect

a uz me tyhle zmrdoviny nemusi trapit

[David Jaša]

Překvapilo mě, že ještě žijou a mají se k světu. Loni jsem přešel jinam, protože nebyli schopní půl roku updatovat a weby přestávaly fungovat... Není někde aktuální srovnání disconnectu, ghostery, DNTme a dalších?

[heh]

Jestli spadají do US jurisdicke pak HA HA HA.

[Honz]

produkuje kvanta obsahu
Ale jaksi ten obsah tam nějak schází...

[frr]

Tomu pasivnímu radeonu moc nerozumím z hlediska chlazení. Pro volnou cirkulaci ve volném prostoru jsou takto hustá žebra nesmyslná, nepřinášejí výhodu. Pokud by ten radiátor něco napříč profukovalo (průvan), tak prosím. Jasně - pasivně chlazené vnitřní součástky mají smysl jedině takový, že je kolem průvan od nějakého centrálního ventilátoru skříně, který bude pomalý a tichý. Ale zrovna tady bude průvan těžko, kolmo ke kartě. Jasně - vzadu je výdechová mřížka. Ale ta bude vyrábět průvan jenom v těsné blízkosti slotové záslepky. 75% plochy těch žeber bude bez průvanu. Nechápu. Dobré snad jako oční výtěr pro puberťáky. Prodávat bych to nechtěl - věčně řešit nahnilé kusy v reklamaci...

V této souvislosti: jeden náš relativně zazobaný zákazník si šel důsledně za svým, chtěl postavit dokonale pasivní rackmount PCčko, tak si ho nakonec sám poskládal = rozhodl se pro praktickou zkoušku. Vzal skříň cca 19"/4U s minimem ventilačních otvorů, namontoval pasivně chlazený napájecí zdroj (aspoň že ten měl žebra venku), průmyslový motherboard, na procesor pasivní chladič, pasivně chlazenou grafiku. Hádejte jak to dopadlo Ani to dlouho netrvalo, použité materiály nemají moc velkou tepelnou kapacitu.

[Aleš Kapica]

Jasně - pasivně chlazené vnitřní součástky mají smysl jedině takový, že je kolem průvan od nějakého centrálního ventilátoru skříně, který bude pomalý a tichý

To jsou plky. Můj domácí stroj má za sebou rok provozu a je to zcela v pohodě. Akorát si musíš zvyknout na fakt, že teploty jsou trochu jinak rozložené, než když ti to nějaký větrák uvnitř honí.

Pokud jde o hustotu žeber, tak z mého pohledu je efektivnější mít u pasivu žebra těsněji u sebe - rozdíl teplot okolního vzduchu a vzhuchu mezi žebry si tak vynutí cirkulaci.

Na adresu tvého zákazníka mohu jen říct, že na to šel zcela blbě. U bedny naležato nikdy nebudeš mít komínový efekt. Moje bedna má děrovaný vrchlík - pod ním jsou 3 velké ventilátory, které ale nemám zapojené!!! Nechal jsem je tam pro případ, že by to s čistě pasivním chlazením stroj nezvládal.

[Petr Ježek]

No, když to dělá trdlo... :) Jinak k názoru autora: Pasiv znamená dvojí plus, Vámi nezmíněné - sníženou spotřebu energie o kurvítko v podobě větráků méně. Vlastním stroj s pasivním Radeonem od Asusu, který nedávno oslavil své šesté narozeniny. A ne a ne pořádně topit, naopak mu léty chladnou žebra :)

[xxxs]

to by mohlo znamenat, ze sa zhorsil prevod tepla z cipu na chladic.

[frr]

To by mohla být pravda jenom za hodně specifických okolností:

1) pokud je chlazený čip schopen škrtit příkon při vyšší teplotě (thermal throttling)

a/nebo 2) pokud má čip nějakou další cestu, kudy se může chladit. Pokud přijmeme předpoklad, že plošák je dost mizerný chladič (ve srovnání s hliníkovými žebry), tak tahle okolnost není příliš pravdivá...

Pokud 1) ani 2) v zásadě neplatí, bude výsledkem vyššího tepelného odporu (součástka-chladič) jediné: vyšší ustálená teplota součástky, která generuje teplo. Teplota lépe či hůře přivázaného chladiče se nezmění, za jinak stejných okolností (příkon, teplotní odpor chladiče vůči okolí).

[xxxs]

mozno iba uschlo lepidielko.

[jehovista]

K cemu jsou Facebooku data, ktera nejsou okamzite pristupna? To tam zalohuji "smazana" data, ke kterym uzivatele nemaji pristup, ale nekdy v budoucnu se muzou nekomu hodit? V clanku mi chybi nejaky priklad, protoze me fakt nic nenapada.

[frr]

Možná by o takové write-only zálohovací řešení byl zájem na volném trhu, všelijakých "archivářů" je po světě potenciálně dost

Spíš mi vrtá hlavou, k čemu jsou čmuchalům "cold" data na plackách - pak se totiž nedá prohledávat obsah. Čili leda si k tomu ještě extrahovat před "uložením k ledu" nějaký index, metadata... něco podle čeho by to kompro šlo případně později dohledat a vytáhnout z archivu v plném znění.

Jaká je vůbec ekonomika provozu takové věci, "business model"? To musí mít ten občasný netušený "zlatý valounek" velkou cenu, pokud stojí za to kvůli němu archivovat nastojato takovou hromadu hlušiny...

Pokud by to mělo být na skutečně veřejně dostupná data, mělo by to hrozný přístupový čas - muselo by to mít svérázné uživatelské rozhraní. Třeba ve výsledku dotazu nebo někde u odkazu na FB ikonka značící "tato data jsou v mrazáku - pokud o ně stojíte, počkejte minutu a my Vám je vystavíme." (plus countdown k refreshi nebo tak něco)

[xkomczax]

A co takhle "Omlouváme se, havaroval nám jeden disk, ale nebojte, data budou do minuty obnovena"? Klidně i s tím tvým countdownem...

[frr]

Snížit redundanci disků a spoléhat na zálohy? ... teoreticky snad, ale moc tomu nevěřím... pořád je to dost velký traffic, data na točivém disku jsou relativně volatilní... pokud by zálohovali po souborech, nikoli celý disk nastojato... pokud by zhavaroval disk, tak by se po souborech obnovovalo... a co vlastně by se obnovovalo a v jakém pořadí, aby se minimalizoval mariáš s CDčkama... zajímavá myšlenka

[deda.jabko]

pořád je to dost velký traffic, data na točivém disku jsou relativně volatilní...

u distribuovanych systemu se dnes pouziva hodne append-only zapis dat, takze to s tou volatilitou to neni tak horke. a co vim, tak treba haystack pro ukladani fotek, je tak navrzeny, takze v tomto problem nebude.

[Stanislav Brabec]

Když najedete na nějakou stránku, tak se vám nerozbalí staré příspěvky. Ten, kdo tam chodí každý den a roluje do historie, bude to mít někde v cache. Ten, na jehož stránku někdo zavítá jednou za rok, bude mít na diskovém úložišti třeba jen první dvě stránky. Nic jim nebrání, aby zbytek uložili na BDXL zálohu. Než se chudák uživatel k tisícímu videu dokliká, bude to mít úložiště připravené.

Umění designérů GUI spočívá ve zdržování uživatele takovým způsobem, aby byl neustále zaměstnán klikáním a rolováním, a vůbec si neuvědomil, že čeká, než se připraví data. Skvěle to zvládá třeba Apple.

A také lze pokládat offline databázové dotazy do kompletní databáze. Třeba pro zákazníka, který se snaží vytěžit nějaká specifická data, která se běžně neindexují. Dotaz se holt bude zpracovávat třeba týden.

[xkucf03]

Umění designérů GUI spočívá ve zdržování uživatele takovým způsobem, aby byl neustále zaměstnán klikáním a rolováním, a vůbec si neuvědomil, že čeká, než se připraví data. Skvěle to zvládá třeba Apple.

BTW: to je teď hrozná móda ty weby, které stránkují tak, že když doroluješ na konec stránky, tak načtou další položky. Nejdřív to sice vypadá fajn, že nemusíš klikat, ale potom zjistíš, že:

• nemůžeš kliknout na odkazy v patičce nebo si ji aspoň přečíst, protože to hned odjede pryč
• nemůžeš kliknout do vyhledávacího políčka a něco na tom webu najít, protože jsi třeba na desáté „stránce“ a při odrolování nahoru to zase začne načítat ty předchozí položky, které předtím zmizely (tudíž vršek s vyhledávacím políčkem odjede pryč)
• když omylem klikneš na nějaký odkaz (místo abys ho otevřel v novém panelu), tak se ztratí pozice, kde jsi byl před tím a musíš jako trotl rolovat desítky obrazovek dolů a hledat, kde jsi to předtím skončil

Ať žije použitelnost a jednoduchost! Na tomhle muselo pracovat jistě několik UI/UX expertů!

[xkucf03]

Třeba pro zákazníka, který se snaží vytěžit nějaká specifická data

Nebo se ty disky můžou vypalovat rovnou dvakrát a jednu kopii dávat NSA…

[Stanislav Brabec]

NSA nemusí vysvětlovat svým akcionářům astronomické položky za každý exabajt úložiště navíc.

[Jen tak]

On ten článek tak úplně nezmiňuje, o co půjde (zatímco jiné články, věnující se tomuto, to explicitně zmiňují).

Na tato úložiště mají směřovat staré fotky a stará videa, který kdo kdy na facebook nahrál - pokud budou starší , než dané období, a nebude k nim přistupováno, tak se přesunou na toto úložiště, a pokud uživatel nějakým způsobem bude tato data chtít, tak se mu normálně zobrazí, jen to bude déle trvat.

[jehovista]

Me se to moc nezda. Vzdyt to prece scanuji ruzne crawlery. Aby se zaplnila jedna ta krabicka fotkami, tak musis dat dohromady treba milion fotek, o kterych vis, ze k nim nikdo nepristoupi. Kdyby treba prumerny facebookar mel v takovem archivu sto fotek, na ktere se nikdo nepodival od doby, co byly nahrany, tak v jedne takove krabicce budou archivovany fotky od deseti tisicu uzivatelu. No a prijde mi docela pravdepodobne, ze treba polovina z tech uzivatelu se v prubehu roku rozhodne, ze se na ty stare fotky podiva. To znamena, ze ta krabicka pujde do mechaniky patnactkrat denne(a to jen v pripade, ze to nebude fragmentovane pres vic disku). Dopredu se neda urcit, kdo se na stare fotky bude chtit podivat a kdo ne.

[trekker.dk]

No a prijde mi docela pravdepodobne, ze treba polovina z tech uzivatelu se v prubehu roku rozhodne, ze se na ty stare fotky podiva

Řekl bych, že když to vymýšleli, tak se neřídili tím, co ti přijde docela pravděpodobné, ale vzali data z reálného provozu.

[jehovista]

Ja myslim, ze to nevymysleli, ale jenom neco placli a chytli se toho novinari. Kazdy novinar si neco prida a kdyz si to zkusis proklikat, tak zjistis, ze tenhle clanek je pata iterace.

[Kvakor]

To znamena, ze ta krabicka pujde do mechaniky patnactkrat denne(a to jen v pripade, ze to nebude fragmentovane pres vic disku).

Takto to určitě řešené nemají, pokud k datům, které jsou "odarchivované" na pomalé úložiště (jako Blu-ray), někdo či něco přistoupí, tak se zkopírují na rychlejší úložiště (tj. klasické disky) a přístí přístupy budou mírit tam. Prostě jako hiearchická vícevrstevná cache, kde každá další vrstva má delší přístupovou dobu než ta nad ní.

[frr]

Tak mě napadá... k těm crawlerům... není to náhodou tak, že FB má většinu contentu "pouze pro členy klubu"? Třeba se k těm zažloulým fotkám v něčím profilu pavouci z divokých internetů prostě nedostanou...

[deda.jabko]

Videl bych prakticke pouziti v tom, ze FB by nemusel drzet na beznych discich 2-3 repliky dat jako normalne, ale postupne by se replika dat presouvala na opticke disky a v pripade vypadku by se provedla obnova, coz by jim usetrilo jednak misto na discich a taky ucet za elektriku za napajeni techto disku.

Dalsi pouziti je tam odsouvat data pro analyzu, ruzne click-streamy, stastiky, atd. kdy algoritmum staci jen sekvencni cteni a nepotrebuji nahodny pristup.

[ebik]

Existuji data ke kterym se pristupuje v radu jednotek pristupu rocne a staci kdyz budou dostupna do dne od zadosti o tato data.

Napriklad logy statistik pred agregaci. Za normalniho provozu je potreba mit statistiky pouze zagregovane. Kdyz se ale prijde na to, ze se neco agregovalo spatne, nebo se to pri agregaci vubec nepocitalo, tak lze data vytahnout a preagregovat. A vlastne zdrojova data obecne. Dale pak logy provozu. Obcas se zjisti, ze nekde pred pul rokem byla chyba. S logy provozu se da chyba opravit zpetne, nebo ji alespon analyzovat a pak zajistit, aby se priste nestala. Bezne ale neni potreba jit do logu starsich nez treba tri dny.

[jehovista]

Jenze na to jsou dost dobre paskove mechaniky, takze to trochu postrada vyznam.

[Tomáš]

To jsem si myslel, že titulky článků s dovětkem jsou jenom doménou bulvárních plátků jako třeba iDnes, ale koukám, že ten mor dorazil i sem. Prosím autory a editory, vymýšlejte lepší titulky.

[pavel]

During a keynote at the Open Compute Summit on Wednesday, Facebook VP of Engineering Jay Parikh laid out his vision for a storage architecture that encompasses everything from hard disk to flash to — yes — Blu-ray in order to meet the needs of the company’s growing number of applications. ........................ So, while database performance might be critical for applications such as wall posts on Facebook — thus necessitating all-flash servers like Facebook’s new Dragonstone design — it’s markedly less important when it comes to storing petabytes worth of user photos that haven’t been accessed in two years.

Toto je citace ze zdroje.

Možná se mýlím, ale ve výše zmiňovaném odkazu se pouze hovoří o nápadu archivovat data starší dvou let na Blue-ray disky.

[j]

Coz nasledne vede k tomu, ze je to jednaznacna pitomost - od cloveka, kterej nevi o cem mluvi. Protoze vyroba tech BR disku je vyrazne (nekolikanasobne) drazsi, nez drzet stejny objem dat na discich. To plati dokonce i o DVD, kde ty naklady jsou smesne.

Pokud tu pak nekdo mluvi o energetickych usporach .. tak opet, v pripade HDD a nalezite organizaci pole neni problem ten disk normalne defakto odpojit. Zapne se trebas 1x mesicne pri nejaky aktualizaci dat.

Uz par let se ustupuje i od pasek, protoze nevyhody snima spojene jsou takove, ze to nepokryje tech nokolik vyhod. Tudiz defakto vsude, kde neni treba archivovat, ale jen zalohovat (coz je neco jineho) se pouzivaji disky.

[Aleš Kapica]

Což mě přivádí na myšlenku, že mnohem efektivnější by bylo velké úložiště založené na řízených pevných discích. Za normálních okolností by disk odpojený. Nahozen by byl až pokud by na něj přišel nějaký požadavek. Normálně by pak po nějaký interval běžel - data by byla dostupná a pak po nějaké době neaktivity by byl opět odpojen.

[Stanislav Brabec]

Takové robotizované skladiště harddisků by také nemuselo být od věci. Pokud by si někdo objednal milion stejných kusů, tak by klidně mohly být bez elektroniky. Robot by přenesl disk do volného čtecího slotu, připojil elektroniku, sběrnici a napájení.

Navenek by se to tvářilo jak exabajtový RAID s pomalými přístupovými časy.

[Aleš Kapica]

Kam by robot chodil? Byla by to hromada skříní s diskama - a v každé z nich by běžel démon, který by podle příslušných příkazů disky zapínal a vypínal - což by bylo podstatně rychlejší než nějaká fyzická manipulace. Úložiště by mohlo být sdílené po síti a jednotlivé disky by se v pravidelných intervalech kontrolovaly zda-li jsou ok. Pokud by to byla raidová pole, tak by vadný disk oznámil svou cestu do věčných lovišť při průběžné kontrole dřív, než by si na data někdo vzpoměl. Z hlediska spotřeby by to pak nemuselo žrát víc než je nezbytně nutné, protože všechny disky najednou by pravděpodobně nikdo nerozběhnul, pokud by to bylo správně navrženo.

[Aleš Kapica]

Ostatně - souborové systémy pro tento typ úložiště už mám dojem existují.

[Stanislav Brabec]

V případě exabajtového úložiště by už samotný řadič s milionem konektorů byl netriviálně složitý a měl netriviální cenu a netriviální spotřebu. Robotické úložiště disků by mohlo mít podstatně menší množství řadičů.

[sigma]

Když nebudou zapnuté všechny najednou, můžou se porty řadiče multiplexovat. I obyčejné SATA umí hotswap (v praxi ne vždy, ale v principu je to možné tak postavit). Rozhodně jednodušší, než s těmi disky fyzicky manipulovat nějakým robotem.

[Stanislav Brabec]

Psal jsem o úložišti s kapacitou v exabajtech.

Tam už bude robotický podavač mnohem levnější než stovky kilometrů kabeláže s milionem multiplexerů.

[David Jaša]

Spíš bych tady viděl prostor pro vrstvení: například distribuovaný FS skládající se z různých uzlů by řídil, kde jsou data uložena, a třeba by rozhodl, že okamžitě nemusí dostupná žádná z kopií - jednotlivé uzly by pak mohly zapínat/vypínat disky. Pak jsou tu věci jako hierarchické uspořádání disků: věřím tomu, že bcache/dm-cache by mohly časem umět držet "horké" soubory na SSD, aby se mohl disk zastavit a držet poměrně dlouho zastavený (a na druhou stranu pozdržet při vypnutém disku zápisy a vyřídit je až při zaplnění SSD nebo roztočení točidla z jiného důvodu).

Aneb proč vymýšlet složitý a drahý hardware, když to může zvládnout sw, který je z velké části k dispozici?

[sigma]

že bcache/dm-cache by mohly časem umět držet "horké" soubory na SSD

Ona bcache/dm-cache vrstva ví něco o nějakých souborech?

Navíc to není o SSD - jejich spotřeba není řádově jinde než spotřeba HDD, při normování na kapacitu už vůbec ne. Jejich smysl je v high performance oblasti, což je úplně jiný problém než se tady řeší.

Na běžném HW to nemá smysl, když v téhle aplikaci bude třeba pod 1% zapnutých disků v určitý čas. Je potřeba velké množství těch disků nějak s velmi nízkou "standby" spotřebou připojit k jedinému hostiteli. Jinak si tak moc nepomůžu, pokud budu mít zapnuté celé servery s vypnutými všemi disky.

[David Jaša]

Ona bcache/dm-cache vrstva ví něco o nějakých souborech?

u ne-COW filesystémů je to jedno, zapisuje se do stejných bloků, jako se četlo.

Navíc to není o SSD - jejich spotřeba není řádově jinde než spotřeba HDD

Ve W/TB předpokládám - nicméně při hiearchickém uspořádání je potřeba desetina kapacity SSD cache oproti vlastnímu HD, tudíž zastavený HD je celkem úspora.

Na běžném HW to nemá smysl, když v téhle aplikaci bude třeba pod 1% zapnutých disků v určitý čas.

To by měla být práce toho distribuovaného FS, aby to 1 % horkých dat soustředil na 1 % uzlů (nebo i 10 %, furt znatelná úspora oproti 100 %).

[Aleš Kapica]

V případě exabajtového úložiště by už samotný řadič s milionem konektorů byl netriviálně složitý a měl netriviální cenu a netriviální spotřebu. Robotické úložiště disků by mohlo mít podstatně menší množství řadičů.

Tak především je hovadina takové úložiště budovat nad jedním řadičem. Ve skutečnosti je co skříň - to samostatný stroj s vlastním OS. Obvykle tyhle věci mají IPMI, takže je lze udržovat ve vypnutém stavu a nahazovat podle potřeby. A i pak - pokud by byly disky ve stavu OFF by jejich spotřeba nestála za řeč.

[Stanislav Brabec]

Ale srovnejte si cenu třeba IBM SONAS v exabajtové konfiguraci a robotizovaného úložiště odpojených disků nebo optických kotoučků se stejnou kapacitou.

IBM SONAS má jistě o několik řádů vyšší datovou propustnost, ale o to v tomto řešení evidentně nejde.