Dotaz: Má zmysel riešiť pred-ohrev diskov pri štarte za nízkych teplôt?

[AraxoN]

Hostujem doma firemný ceph cluster na zálohy. Cluster pozostáva z troch "serverov" (desktop hardware), každý má 4x HDD 3.5" SATA. Celé to slušne žerie, takže to prevádzkujem na nočný prúd: bootuje automaticky o 22:00, naťahá zálohy a o 6:00 sa zase automaticky vypína.

Odtiaľ potiaľ to funguje OK. Jediný problém je trocha hluku, keďže to mám v suteréne rodinného domu a v noci mám rád ticho. Preto by som cluster chcel presunúť do samostatne stojacej garáže, kde hluk nebude nikomu prekážať.

Akurát že v suteréne mám vždy príjemných cca 25°C, zatiaľ čo v garáži môžu v zime teploty klesať až k nule. Zo staršej štúdie Google si pamätám, že teploty pod 25°C diskom skracujú životnosť.

Väčšina dnešných HDD má v špecifikácii prevádzkovú teplotu od 0°C. A tak riešim, ako (a či vôbec) riešiť ohrev diskov pred boot-om?

1. Našiel som pre industriálne nasadenie rôzne rámčeky, ktoré riešia ohrev diskov buď individuálne pre každý jeden disk, alebo spoločne pre väčšie množstvo diskov. V oboch prípadoch ale tieto srandy stoja toľko, že by zdvojnásobili cenu toho clusteru. A potom je ešte otázne, či v lete naopak tieto rámčeky nebudú brániť efektívnemu chladeniu.

2. Lacnejšie riešenie sa ponúka vo forme malých 100W PTC ohrievačov (napr. z Aliexpress-u), ktoré by stačilo dať z vonkajšej strany každej PC skrinky a vháňať nimi pár minút pred štartom dovnútra teplý vzduch. K tomu by som musel dobastliť nejaký senzor teploty a riadiaci obvod, aby v prípade nízkej teploty oddialil štart PC.

3. Tretia možnosť by mohla byť vyhriatie PC skrinky pomocou CPU - systém presunúť na SSD a bootovať z neho, po štarte spustiť burnP6 alebo niečo podobné, čo zaťaží CPU, kým sa skrinka nevyhreje, a až potom zopnúť SATA napájanie pre rotačné disky. Aj v tomto prípade by bolo potrebné bastliť nejaké spínanie podľa teploty.

4. Ako posledná možnosť sa ponúka nerobiť nič, pretože moderným diskom nízke teploty už toľko nevadia (?). Ale k tomu by som radšej počul nejaké reálne skúsenosti od ľudí, čo takéto studené štarty robia.

(TLDR: pravidelné štarty HDD pri teplote 0-10°C)

Čo si myslíte? Má zmysel to riešiť? Riešil to už niekto? Ako ste to riešili - a vyriešili?

Odpovědi

[X]

Tohle je neuveritelny. Uz ten zacatek:

Hostujem doma firemný ceph cluster na zálohy.

Firemni zalohy doma? To vazne? Jak funguje? Kdo ruci za data? Mas to pojistene smlovou?

Cluster pozostáva z troch "serverov" (desktop hardware), každý má 4x HDD 3.5" SATA. Celé to slušne žerie, takže to prevádzkujem na nočný prúd: bootuje automaticky o 22:00, naťahá zálohy a o 6:00 sa zase automaticky vypína.

To jsou rotacni disky? Zere to, dela to bordel a proto to jede od 22 do 6:00. Neverim.

Tretia možnosť by mohla byť vyhriatie PC skrinky pomocou CPU - systém presunúť na SSD a bootovať z neho, po štarte spustiť burnP6 alebo niečo podobné, čo zaťaží CPU, kým sa skrinka nevyhreje

Jak tohle muze nekoho vubec napadnout?

Neuvazoval jsi treba nad tim, ze cela tahle filozofie firemniho zalohovani je uplna blbost? Nikdo ti nerekl, ze firemni data se mozna zalohuji jinak nez "doma v garazi"? Tohle je zlej sen.

[AraxoN]

Je to moja firma a má tam sídlo.

Ostré dáta sú v dátovom centre a existujú k nim priebežné zálohy ešte v inom dátovom centre, odkiaľ by sa vedela spustiť ostrá prevádzka v prípade potreby. Toto je tretia záloha.

Účel to spĺňa a nie je to protiprávne.

A že sa na tom snažím šetriť? Áno, pretože je to tretia záloha, pre veľmi nepravdepodobné udalosti.

[X]

V tom baraku nemas zadnej kumbal na normalni malej rack?

Delal jsem neco podobneho, ale se Synology a je to stejne. Non-stop provoz, hluk a jeste nestabilni konektivita..

[AraxoN]

Kumbál s rackom mám, ale nedocenil som vibrácie, ktoré vydáva toľko diskov. Oni tieto tri servery nie sú jediné, ktoré doma mám, ale podieľajú sa na väčšine vyprodukovaného hluku.

Takže tieto tri servery putovali rôzne po dome, až skončili nateraz v suteréne. Ale aj tak ich počas tichej noci počuť, keď začnú rachotiť všetky naraz.

Preto keď som staval garáž, vyhradil som v rohu miesto pre servery.

S konektivitou problém nie je, gigová optika od Telekomu ide stabilne.

[X]

Jinak sry, zase jsem se nechal nejak unest.. doufam, ze se nezlobis.

[AraxoN]

Použitie slova "záloha" stimulovalo nesprávne neuróny. Stane sa, vysvetlilo sa, ideme ďalej.

Možno som mohol použiť iné slovo... "archív"? "cold storage"? (pun intended)

[carbon]

hmm, ta studie je z 2007, tak je otazka, na kolik to jeste plati (osobne bych mel spis obavy z toho kazdodenniho zapinani/vypinani)

Napada me ale vic moznosti, nez jen ty 4 zminene:

* zalohy poustet napr. jen o vikendu (pises ze to je terc. zaloha, tak by to treba mohlo staci)

* server mit v garazi cely rok a jen "na zimu" ho prestehovat do baraku

(a urcite budou i dalsi moznosti ;)

[AraxoN]

Áno, tá štúdia je stará. Novšia od Backblaze pracuje s teplotami od 15°C do cca 30°C a tam nejaký výrazný trend v chybovosti nenašli. Ale u mňa v garáži by na nižšie teploty došlo.

Terajšie disky majú v špecifikácii prevádzkovú teplotu min. 0°C, alebo 5°C (v závislosti od modelu), ale nikde som sa nedočítal, ako dobre takéto teploty znášajú. Predpokladám, že za behu sa vlastnou spotrebou zohrejú na nejakú prijateľnú teplotu. Len tie štarty pri tejto teplote ma desia...

Zálohy len cez víkend? Tých dát prichádza dosť veľa, stane sa niekedy, že to trvá o niečo dlhšie než 8 hodín. Za jednu dve noci v týždni by sa to nestihlo. A keby bežal celý víkend, tak sa tým neušetrilo na elektrine nič.

Sťahovať servery z domu do garáže a späť? To je prinajlepšom polovičaté riešenie. Rád by som niečo trvalejšie.

[carbon]

hmm, co se tyce statistik, tak mas asi smulu (vetsina lidi neprovozuje disky v takto "extremnim" prostredi - tj. zapinat/vypinat 1x denne, obcas pri ~0C ), takze to budes muset odzkouset sam (treba jen s 1 serverem)

varianta 3/ "vyhrivat CPUckem" mi pripada uplne na hlavu, mozna v kombinaci s 2/ by mi to davalo trochu smysl

u varianty 2/ neni jasny, kolik te to nakonec bude stat, to si budes muset spocitat - (nemyslim, ze bys pri okolni teplote kolem 0C vyhral 100Watama disk treba na 15C za "par minut" - odhaduju, mozna blbe, ze to bude tak 10+min) - celkova cena "reseni" pak bude za porizeni vyhrivacu, elektriku za vyhrivani a posunem zalohovacich casu o vyhrivani ti obcase spadne provoz serveru do normalniho tarifu (pokud se nestihne pres noc) - mno ta kalkulace by byla zajimava

variantou "stehovani serveru na zimu do baraku" bys asi ziskal nejvic za nejmin - cca 8/12 v roce bys mel ticho a v zime extra vytapeni a stalo by te to jen "pul hodiny" za rok, ale chapu, ze nechces

jeste jedna alternativa by byla investovat do odhlucneni serveru a nechat je v baraku (tiche vetraky, servery postav na molitan kvuli vybracim, atp...)

kazdopadne by me zajimalo, jak to dopadne, tak az se rozhodnes a zrealizujes to, tak se pak kdyztak pochlub (treba do blogu)

good luck ;)

[AraxoN]

Ďakujem, kalkulujem, rozmýšľam. Ten nápad, že by som do garáže na skúšku presunul len jeden server znie dobre.

Inak: 3 servery x 100 Watt x 10 minút x 30 dní = 1,5 kWh =~ 0,30 € mesačne. Keby fakt stačilo 10 minút, tak to je za babku. Za celú zimu by to zožralo maximálne jednotky eur. Ono vnútro PC nie je príliš veľké, takže by naozaj 10 minút mohlo byť dosť.

Odhlučnenie som v rámci možností už riešil. Ventilátory nepočujem, ale vibrácie z diskov sa šíria aj cez betón, aj cez gumové podložky pod servermi.

[Ruža Becelin]

Jinak ty disky leží, nebo stojí?

Pocitově disky "na stojáka" vibrují méně, možná bych zkusil i to...

[AraxoN]

Disky sú v vodorovne. Dať ich na stojáka by bolo v tejto PC skrinke nemožné. Dala by sa na bok zvaliť celá skrinka, ale potom sa to nezmestí na to miesto, ktoré som tomu vytvoril.

Ale niečo na tom bude - mám tam aj nejaký starý HP microserver s 3.5" diskami na stojáka a naozaj si nepamätám, že by to tak rachotilo.

[Matlák]

Tohle trochu napovídá, kde bude asi problém. Disky ve skutečnosti nedělají hluk, dělají vibrace, a plechová krabice serveru potom funguje jako rezonanční zesilovač. IMHO pokud disky odpružíš například, tak najednou nebudou vůbec slyšet.

[carbon]

ten vypocet mas spatne - kdyz budes mit "levny proud" 8 hodin a zalohovani bude trvat taky 8 hodin a pak zacnes s predehrivanim disku, tak ten 10 minutovy predehrev ti vyleze z "levneho proudu" (at na zacatku, nez se disky zahrejou, nebo na konci, nez se dokonci zalohovani), proste budes potrebovat 8:10 (ale "levny proud" mas jen na 8h) - jasne ze se to da "hacknout" baterkou, ale o to to bude zase cele drazsi a narocnejsi na udrzbu....

ber moje komentare jen jako inspiraci, nikoliv jako finalni navrh reseni - napr. co se tyce izolace hluku, muzes disky dat do protivibracnich supliku, ty dat do odhlucnene PC skrine, tu dat do odhlucneneho racku a nakonec odhlucnit samotnou mistnost s rackem - tj. mas celekm siroke pole pro manevrovani a nekonci to jen oodhlucnenim PC skrine... (tech izolacnich materialu je taky celkem dost, bubenik v kapele pouziva takovy specialni a celkem drahy molitan a pry celkem funguje, atd.... atd ...)

a jeste nakonec - problem garaze bude i vlhkost, to pro elektroniku taky nebude OK

mno jsem zvedav, jak to vymyslis :)

[AraxoN]

Tá záloha netrvá presne 8 hodín. Niekedy je hotová za hodinu, niekedy trvá aj dlhšie než osem. Osem hodín to nechávam bežať, aby mal Ceph dosť času na svoju údržbu - ak nestihne spraviť scrub v nejakom čase, tak potom začne reportovať warning. Predohrev som chcel robiť na úkor tých 8 hodín.

On ten "levný proud" je lacnejší asi len o 15%, takže pri takto krátkom behu to nespraví žiaden výrazný rozdiel v cene. Ozajstný rozdiel je medzi tým, či to beží 8 hodín alebo 24. Ale nočné hodiny sú vhodné aj preto, že vtedy je na serveroch najmenší traffic, tak prečo nevyužiť obe výhody?

Čo sa týka odhlučnenia, na to by boli potrebné drahšie opatrenia s neistým výsledkom. Takzvané "nízko ležiace ovocie" som už v tejto oblasti pozbieral - mám tam gumené podložky pod serverami, aj pod regálom, na ktorom sú servery položené. Izolovať samotné disky nechcem, pretože potom vzniká opačný problém - disky by sa mohli prehrievať.

Údaje o vlhkosti a teplote zbieram od septembra, kedy bola garáž dokončená (namontovaním brány). Dosť na vlhkosť vplýva každé otvorenie brány, vtedy vojde do garáže veľa nového vonkajšieho vzduchu a vlhkosť klesne. Uvidíme, ako sa prejaví sneh - keď vojde dovnútra auto začapané od snehovej kaše a tá sa tam potom rozpustí, tak očakávam skôr zvýšenie vlhkosti. Každopádne tento problém si uvedomujem, monitorujem a zbieram k nemu údaje.

[Matlák]

Gumové podložky tlumí jen velmi málo. Ideální je pověsit disky na pružinky, to odstíní každý jeden disk (takže se nebudou vzájemně rušit) a rozhodně to nijak neovlivní průtok vzduchu.

[Ruža Becelin]

To vypínání a zapínání disků je zničí dřív, než teplota.

Dal bych to do nějaké izolované bedny a diskům bych nastavil idle, ale servery bych nechal běžet.

Pokud tě trápí spotřeba 3 desktoposerverů u tebe doma, asi bych se zamyslel na jiným řešením.

[AraxoN]

Zatiaľ to takto mám 4 roky a z tých diskov odišiel len jeden, hneď na začiatku. Pri normálnej teplote diskom štarty neškodia. Pri frekvencii jeden štart denne sa skôr "opotrebujú" morálne než fyzicky.

Som si vcelku istý, že pri nonstop prevádzke tie disky vyrobia dosť tepla na to, aby si udržali teplotu aj bez prídavnej izolácie. Navyše po zime by som zase musel izoláciu dávať preč.

Niečo ako "idle" v Ceph neexistuje. Keď Ceph nemá čo robiť, venuje sa "scrubu" - prechádza dátove objekty a kontroluje ich checksumy.

[Matlák]

Myslím že je rozdíl, když disk cykluje každých 24 hodin mezi 25 a 40 stupni Celsia, a mezi -5 a 40 stupni Celsia. To už je rozhodně výrazně větší tepelné namáhání. A mimochodem - nevím čím topíš, ale jestli doma topíš TČ na 25, tak možná nebude takový problém pár wattů navíc ve spotřebě?

[AraxoN]

Mínusové teploty by v garáži nastať nemali. Je to nová garáž, izolovaná pomerne dobre. Temperuje sa klimatizáciou, spínanou (v aktuálnom nastavení) pri teplote 12°C, merané na tej vnútornej jednotke pod stropom. Dole v rohu, kde plánujem dať tie servery môže byť v tej chvíli aj o niekoľko stupňov menej. Neočakávam, že teplota tých diskov niekedy klesne pod 5°C, ale aj tak by som ich nerád pri takej teplote prevádzkoval.

Tá štúdia od Google, konkrétne tento graf, ma úprimne desí. Takže môj aktuálny plán je vyhrievať vnútro PC skrinky pred štartom aspoň na 20°C.

[Max]

Smím se zeptat, proč ten CEPH vůbec používáš? Minimum nodů s minimem disků, to je dost drahé řešení s hodně nuzným výkonem. Větší parádu by udělal jeden server se všemi disky v btrfs Raid1C3, nebo ZFS RAID-Z2 / RAID-Z3.
Zdar Max

[AraxoN]

Ceph cluster máme aj v produkcii. Práve v minulosti sme sa popálili, keď sme používali jeden "veľký" file server.

S príchodom Covidu a lockdownov doslova explodovali naše dátové potreby. V situácii, keď nám pribúdal terabajt dát každé tri dni, sa ťažko plánuje, aký veľký server máš postaviť. Potrebovali sme riešenie, ktoré sa dá škálovať. Pri takomto množstve dát sa kľudne mohlo stať, že obstaráme server na 12 diskov a onedlho zistíme, že nám nestačia. Skladať potom nový server, s ešte viac diskami je jednak nákladné, a potom tiež kopírovať také množstvo dát medzi serverami bez preháňania zaberie týždne.

Sharding tých dát na viac samostatných file serverov nebola žiadna zábava, to viem, lebo to sme museli robiť, kým sme hľadali nejaké permanentnejšie riešenie. Nakoniec sme rozbehali Ceph a odvtedy stačí kde tu pridať disk a keď sa do existujúcich serverov ďalší disk pridať už nedá, tak pridať ďalší server. Práve tá posledná vec sa s BTRFS robiť nedá, nech ma niekto opraví, ak áno.

A či je Ceph drahý? Drahé sú len disky, tie tvoria možno 90% ceny celého toho "záložného" clusteru, o ktorom je reč. Preto aj riešim, aby som ich náhodou nezabil nízkou teplotou.

Btw, minimum diskov pre Ceph cluster je 3, nie 12.

[Max]

Já se ptal na zálohu, ne na produkci.
A pokud máš plán, že bude dat hodně, stačí jeden malý server a k němu jeden malý jbod. 40 disků pak připojíš jako nic. Stále mluvím o záloze.
Zdar Max

[AraxoN]

Prišlo mi jednoduchšie rozbehať Ceph vo všetkých lokalitách, než mať jednu lokalitu, kde je storage riešený úplne inak.

[Xerces]

Nechci vypadat jako kverulant, ale 1T za 3 dny to je skoro 4M za sekundu. To snad ukládáte nějaké streamy z monitorovacích kamer, ne? Jestli to je nějaký klasický sběr dat, tak potěš koště.

[AraxoN]

Áno, ide (išlo) v prevažnej miere o multimediálne súbory. Po skončení lockdownov táto "spotreba" dát klesla a teraz je opäť celkom v pohode.

4M za sekundu by to možno bolo, keby používatelia používali produkt rovnomerne počas celého dňa a keby na jedného producenta nepripadali desiatky konzumentov. V realite sme saturovali dva gigabitové pripojenia a museli urýchlene prejsť na 10Gbps.

[Max]

Vše jsi vyjasnil, takže za mně v takovém případě bych koupil 3 termostaty (ty malý, za stovku, za dvě) a k tomu třeba ty šmejdy z alíku na temperování. A temperoval bych na 8-10C. Výrobci disků většinou zaručují operační teploty 5-60C.
Temperoval bych celou skříň, protože i když vysoká vlhkost pro domácí akce nevadí, tak v tvém případě hrozí velký rozdíl teplot a možnost rošení komponent. Musíš tedy temperovat celé jednotlivé skříně, nebo mít všechny PC v nějaké větší skříni a temperovat tu.
Minimálně bych kolem skříní dal izolaci a nechal průduchy jen na ventilátory / chlazení. V burnu se ti neupečou a v zimě dost ušetříš na temperování.
Zdar Max

[AraxoN]

Ďakujem. Ja som medzitým došiel k podobným záverom. Možno potom spravím nejaký blog, až to zrealizujem.