Můj aktuální-nový domácí server (diskuse)

[Josef Kufner]

Hezké. Také uvažuju o občerstvení domácího serveru. Ta deska tam už chrochtá 11 let a výkonem je to tak nějak na hraně (první generace i3). Některé komponenty budou mít za pár dní 16 let. Když nepočítám občasné chcípnutí disku či kabelu k němu, tak nejzávažnější závada bylo odpadnutí chladiče z CPU, neboť ty plastové čudlíky se po pár letech odvibrovaly do unavena. Tak jsou tam už pěkných pár let pořádné šrouby, které když jsem moc utáhnul, tak to nebootovalo.

Letos jsem navíc doplnil malou UPS, aby se pořešily drobné (a vzácné) výpadky a umožnilo nějaké to přepojování za běhu.

Jak vlastně řešíš odhlučnění a vibrace?

[disorder]

ja mam uz dlhsie APC UPS, po 8 rokoch vymena baterie za neoriginalnu. asi 2 roky to slapalo a potom sa to zacalo vypinat bez zjavneho dovodu.

[Max]

Na fotkách můžeš vidět, že case je vypolstrovaná a jsou utěsněny otvory, kydu nechci, aby proudil vzduch. Dále 2x 120x120 Noctua na low otáčky nehlučí. Disky jsou také tichý. Navíc v aktuální poloze je mi hluk putna, protože to mám ve sklepě.

Jinak vibrace skoro žádný, Noctua větráky jsou na low a uchycený přes ty jejich gumy. A jak jsem napsal, disky jsou v klecích uchycený přes gumové distanční podložky.
Zdar Max

[Josef Kufner]

Díky. Já právě musím nějak pořešit hlavně disky, neboť ty drobné vibrace se za dobrých podmínek dokážou donést docela daleko. Trochu si pohrávám s myšlenkou udělat něco jako se dělá pro přesné laboratorní váhy – posadit to na těžkou odpruženou dlaždici.

[Max]

Jak říkám, řeším gumovýma distančníma podložkama, které jsou součástí klece, nebo součástí lepších skříní + zbytek řeší dostatečně tuhá skříň. Kdo místo pořádné skříně používá nějakou tenkou plečku/papír, tak ty vibrace nikdy nevyřeší.
Zdar Max

[j]

Viz Max, pokud ti vadi tohle, tak mas blbej (levnej) case. Ty lepsi jsou skladany jako sendvic, typicky mas kombinaci plechu, plastu a pryze. A pocitej taky s tim, ze takova bedna i prazdna bude vazit 10kg a vic. Mam case od antecu, a realne se ozve jen pri startu, kdy se vse pusti naplno. Ani v maximalni zatezi to nedela zadnej kraval, jediny co se ozve je GPU. Samo mechanicky disky jsou v kleci s tema podlozkama (je to nejakej silikon).

Jestli chces alternativni reseni pro chudy, tak si priprav kus spagatu (lepsi je neco trochu pruznyho, ale ne gumicky, ty prasknou), udelej uzliky, a vyvaz disky do 5 1/4 pozic. To funguje taky, jen to pak neni zrovna stehovaci. Ty disky z toho nevypadnou, ale budou se mlatit o sebe + vypadaj kabely, pokud to prevratis a tak.

---

Dete s tim guuglem dopice!

[Josef Kufner]

No, ten case je 16 let starý a tehdy to byl docela dobrý kousek. Díky za tip.

[marbu]

V případě mdadm je nějakou dobu venku dm-integrity. Kdo tedy z nějakého důvodu nechce btrfs nebo zfs, tak může ještě zkusit jít cestou dm-integrity.

Ten dm-integrity je device mapper target (podobně jako dm-crypt, který je používán LUKSem pro šifrování), zatímco MD RAID (softwarový RAID v Linuxu), co se ovládá mdadm utilitou, nad device mapperem postaven není. Akorát existuje device mapper target dm-raid, který je jen wrapper nad tím MD raidem, aby šel použít v rámci složitější device mapper konfigurace.

Jinak bych dm-integrity doporučil používat buď přes LUKS (cryptsetup má volbu --integrity) nebo stratis, na přímo to bylo poměrně pracné na konfiguraci, když jsem to naposledy studoval. Ale pořádně jsem to sám zatím netestoval.

[AraxoN]

A jak jste na tom vy?

Môj domáci server ešte stále beží na Atome (ITX Intel DN2800MT), ktorý som v roku 2013 kúpil z druhej ruky od nejakého dobrodinca tu na abclinuxu alebo na roote. Už niekoľkokrát som si robil research, či to nenahradím niečím novším, ale nakoniec som to vždy vzdal - nenašiel som podobne šetrnú zostavu.

Koľko Ti to žerie wattov v idle?

[Max]

To tam píšu, 50-60W. Nižší hodnota je idle, ale spíše náhodnější, reálně je to něco kolem 53W.
Je to tedy o 13W horší, jak s tím Atomem, ale výkon je úplně někde jinde, je tam KVM a místo jednoho modulu jsou tam dva, navíc ECC.
Takže vzhledem k tomu, kolik fcí a výkonu přibylo, tak to je relativně malý nárůst spotřeby.
Zdar Max

[j]

Jinak receno, sezere ti to +- 6Kc/den ... nebo jedno (covidovy, na normalni by to nestacilo)pivo na staromaku mesicne ...

Proto tvrdim, ze nikoho normalniho spotreba nejakyho furtbezicino nasu nemusi vubec zajimat.

Jinak si myslim, ze za ty prachy (13k), pricemz jeste pises ze to byla "lepsi" cena, se da koupit mnohem zajimavejsi HW. Tak nejak bych za ty prachy cekal na ty desce sas, a ne 4 sata porty. Pripadne SFP+.

Kdyz pudu do frcu, tak za ty prachy koupis kompletni 1U stroj a spotrebu to vetsi pri danym vyuziti mit nebude. Jo, asi to bude delat kraval, to jo. Ale to je ve sklepe/na pude prevazne jedno.

---

Dete s tim guuglem dopice!

[Max]

Účkový server je ošklivejší level. Žere to víc a "odhlučnění sklepa" není nekonečné. Sice mám svůj rack s infrastrukturou, ale mám pocit, že nemá ani odpovídající hloubku, abych tam mohl hodit server na ližiny. Navíc reálně žere každý účko minimálně 100W.
Při spotřebě 55W a ceně 4,-Kč/kWh jsem na ceně 2000,-Kč/rok. S těmi 100W bych byl nejspíše na dvojnásobku. Zbytečné plýtvání a nic navíc by mi to nedalo (výkon bych nevyužil a měl spíše ještě vícenáklady na řešení úložného prostoru pro disky, protože do 1U dáš 4x 3,5", musel bych tedy jít minimálně do nějakého 2U a pak ještě shánět rámečky na disky)
Ne, toto jsem si také promýšlel a mělo to pro mě samé nevýhody a žádnou výhodu.
Zdar Max

[Ondro]

Naozaj kazde U-cko zere minimalne 100W? Mam doma HP DL-360p Gen 8. 2x 2630L v2, 128GB RAM, SAS radic, 4x1Gbit Lan, 2x460W zdroj, asi 10 ventilatorov a spotreba v idle 50-55W bez diskov len s jednym SSD.

[Heron]

Jinak si myslim, ze za ty prachy (13k), pricemz jeste pises ze to byla "lepsi" cena, se da koupit mnohem zajimavejsi HW

Sem s tím.

Tak nejak bych za ty prachy cekal na ty desce sas

Za ty prachy možná jo, ale sas řadič se mi válí na stole jako dekorace. Hádej proč? SAS disky nějak doma nemám. (Ano vím, že řešení existuje.)

Kdyz pudu do frcu, tak za ty prachy koupis kompletni 1U stroj a spotrebu to vetsi pri danym vyuziti mit nebude. Jo, asi to bude delat kraval, to jo. Ale to je ve sklepe/na pude prevazne jedno.

1U je celkem k ničemu. Kdybych měl někdy nahradit ty bigtowery, tak minimálně 4U. Do 1U nedáš tolik disků, špatně se to rozšiřuje apod. Měl jsem to a prodal jsem to (bazar tady na abc, před cca 10 lety).

[j]

Tak rec byla k tomu ze do 4 disku a to do 1U das vpohode. Pokud jde o SAS, tak je to zas o tom, za na to normalne sata disky pripojis, ale nejses omezenej na 4. Pokud chces vic disku, tak peknej bazarovej kousek je trebas MD1000 pokud jeste nekde sezenes. Je to (SASova) krabice na 15(sas/sata) disku. Samo, potrebujes k tomu jeste stroj s tim sas radicem.

Jup, taky se da udelat cosi cemu dellaci rikaj nls = je to sata disk s redukci na sas. Tu redukci (vcetne supliku) koupis ve frcu za cca 10Ecek ks.

---

Dete s tim guuglem dopice!

[AraxoN]

Ach, to som myslel, že je pri nejakej záťaži... Mne to teraz robí v idle asi 12W s dvoma 2.5" diskami. Preto si neviem vybrať - vždy mi v novej zostave vyjde mnohonásobok pôvodnej spotreby.

Jeden Watt spotreby ročne stál pred zdražovaním asi 1,50 €. Ak som teda miesto ~50W mašiny prevádzkoval tých osem rokov len 12W, ušetril som 57 € ročne, spolu 456 € za 8 rokov. To mi až také zanedbateľné nepríde.

[MP]

Zkuste na tom (starem) atomu sifrovat...To ta spotreba/vykon bude najednou jinde.

[AraxoN]

Časť disku je šifrovaná, a áno, výkon je mizerný. Na druhej strane dostatočný pre moje potreby.

[Heron]

A jak jste na tom vy?

Já domácí služebníky stavím z bývalých desktopů. Takže aktuálně hlavní workhorse je FX8350 na FreeBSD. ZFS a v tom aktuálně 6x4TB disky. Zatím to stačí. Jak cpu, tak storage. K tomu ještě zálohovací Linux na nějaké i5.

Koncept je takovej, že na BSD je ZFS, na Linuxu je 6x XFS (oddělený FS). Potom ještě občas externí záloha na externí disky.

Použití se mění. Dřív jsem měl QEMU KVM (na linuxu), potom objevil nspawn a potom přešel na FreeBSD a na jaily.

No a když je potřeba něco spočítat, tak na desktopu R7 1800x. Zatím to stačí. I na hry stačí ta RX480 8GB. (AMD sice po mě chce, abych si koupil novou, ale kašlu jim na no. Ten "advisor" doporučuje RX6900XT a R9 5950X - grafika za 50tis a cpu za 20tis. pro Skyrim a CyberPunk? Jako na jednu stranu chápu, že lákaj lidi na nový HW, ale tohle je extrém. Kdyby to radilo normálně, tak si novej HW koupí víc lidí a budou to obměňovat třeba postupně - teda krom toho, že dneska nic není k sehnání.)

Vlastně jsem ještě nikdy neudělal to co ty teď, že bych to postavil komplet znovu. (Jasný, v desktopu nemám 6 disků, takže ty se koupí. V serveru zase nemám herní grafiku, takže ta půjde pryč.)

Také nevíte, kam s prachama?

Momentálně, i vzhledem k aktuální situaci, jsem všechny zbytečný nákupy stopnul. Ceny jsou šílený, pokud nic neodejde, tak se nic kupovat nebude. Nějaké plány na rozšíření jsou, ale teď to není na pořadu dne.

Díky, pěkná mašinka, užij si to!

[j]

Jo, taky sem si rikal, ze bych mel vymenit GPU ... a ted jak tak koukam, bych tu svoji letitou moh prodat skorem za cenu novy ... tak nic, 40-50k za grafarnu fakt nedam. Pocitam ze brzo vyjde nakej clanek (jako kazdej rok) ze PC umira, ze nikdo nic nekupuje ... protoze ... konzole taky nejsou ;D

BTW: jelikoz mam v supleti dily na nejmin jeden komplet stroj, tak se nic kupovat nebude ani kdyz neco odejde.

---

Dete s tim guuglem dopice!

[Heron]

Taky toho mám na hraní mnohem víc. Ještě Intel NUC a dva NTB. Takže celkem 3 desktopy a dva NTB a NUC. Ještě jednu levnou grafiku (2GB), takže kdyby odešlo RXko, tak mám co dát do desktopu (akorát bych chvilku přestal hrát). Teď se prostě nic kupovat nebude.

Pocitam ze brzo vyjde nakej clanek (jako kazdej rok) ze PC umira, ze nikdo nic nekupuje ... protoze ... konzole taky nejsou ;D

Jo, nejsou. Kolegové v práci na jaře houfně objednávali PS5. Ještě je afaik nemají. Btw. jsem jedinej z firmy, kdo má doma herní pecko. Všichni mají NTB a k tomu PSko nebo Xbox. Ale tak to je jejich věc. Každému vyhovuje něco jiného.

[a1bert]

ja jsem na tom:

asrock J4105M
1 x 16 GB DIMM (Apacer D12.2226BS.001)
btrfs (TOSHIBA HDWD130 3TB + TOSHIBA DT01ACA300 3TB)
2xUSB DVB-T2
1xPCIe DVB-S2
1xArduinoNano

30-35W

[Petr Tomášek]

Hezké, akorát to nemá 10gbe. Zvlášť, když je to míněno jako NAS pro velké soubory, bych už dnes novou věc bez 10gbe nebral...

[Max]

Problém 10Gbe je ten, že to prostě žere. Navíc Base-T je pro mě nepoužitelný, takže jedině karty se SFP+ šachtama a do toho moduly. Toto je pak zbytečně energeticky náročné a reálně ten výkon stejně nevyužiji. Nezpracovávám velké objemy dat, je to jen odkládací prostor a stremovací server, který na Gbit funguje s velkýma rezervama.
Zdar Max

[Max]

Jinak jako hlavní switch používám MikroTik RB3011UiAS-RM (bazar za necelých 2kkč), který má fakt trapně malou spotřebu a výkonově mi přebohatě stačí.
Přechod na 10Gbit pro core síť a PC by byl cenově nerentabilní a spotřeba by se mi také už nelíbila.
Zdar Max

[Heron]

Jinak jako hlavní switch používám MikroTik RB3011UiAS-RM (bazar za necelých 2kkč), který má fakt trapně malou spotřebu a výkonově mi přebohatě stačí.

Pěkný. Já používám starý RB450G, plus ve druhém pokoji RB751G (AP, router), ten už by chtěl vyměnit, možnosti wifi jsou dnes už trochu jinde. Zatím stačí. Ty máš předpokládám nataženou strukturku? Cat5e nebo 6?

[Max]

Moje domácí wifi síť obsahuje skoro 20 mikrotiků. Sdílím konektivitu i sousedům, zajišťuji jim wifi jak v domě, tak na zahradě za domem atd.
Každopádně v domě dělám rekonstrukci, jak data, tak el., tak omítky atd. Někdy se o tom rozepíšu (pár lidí mě označilo za blázna, když to viděli :D)
Každopádně pokud jde o data, tak základ mám na tomto:

• SOLARIX zásuvka CAT6, STP, 2 x RJ45, pod omítku, bílá (SX9-2-6-STP-WH)
• SOLARIX kabel, CAT6, FTP LSOH, 500m, špulka (SXKD-6-FTP-LSOH)
• 19" Patch panel Solarix 24 x RJ45 CAT6 STP černý (SX24-6-STP-BK)

Zdar Max

[Max]

Ještě dodám, že už mám hotové i nové zemění (celkem asi 30m pásoviny a aby to byla i jistota, tak každé 2m zemnící tyče, z toho cca 20m je v hodně promáčené půdě, takže paráda), jen ještě musím vylézt na střechu a udělat k tomu i nový hromosvod.
Každopádně sólo zemnící okruh pro radioelektroniku jsem nedělal, už na to nebyl prostor ani nálada, takže jsem to vyhodnotil jako zbytečnost :D
Zdar Max

[Heron]

pár lidí mě označilo za blázna, když to viděli

Já tě považuju za totálního magora

Takže Cat6.

Doma chci udělat propoj p2p na Cat6 a 10GbE mezi serverem a desktopem (zatím bez switche). Chtěl jsem to mít hotové "přes vánoce". Zatím mi CPOST "nedoručuje" (prý jsem včera nebyl zastižen, ehm, rohlíku se to podařilo na první pokus, ale chápu, že když to cpost má cca 100m vzdušnou čarou od pobočky, že je to neřešitelný problém) ani nijak nesouvisející balík z Německa, takže upgrade sítě odloženo na neurčito.

[Max]

Jop, cat6a a cat7 jsem vyhodnotil jako něco, co nikdy nepoužiji, protože když budu chtít něco víc, tak jedině optika. Šel jsem tedy do lepšího cat6 (stítěný protihořlavý drát). Ta samozhášlivost u drátu je důležitá kvůli případným čidlům (kouřovým apod.), ale reálně je to oficiálně nepoužitelné.
Když jsem to naposledy zjišťoval, tak protikouřová čidla musí být propojena s ústřednou právě přes tento typ kabelů, ale aby to bylo ofiko, musí na to být projekt a musí se pod to někdo podepsat. Zřejmě kvůli tomu pak všude možně vládnou čidla na baterky, kde se musí každý rok (někdy každé dva roky) měnit baterie, což se spojuje s pravidelnou revizí a testem (kouřový čidla se myslím musí jednou ročně testovat, je na to nějaký sprej).
Zdar Max

[Tomáš]

Ve kterých bazarech tak lovíš?

[Max]

Dřív jsem všechno nakupoval přes ocguru (hafec hafec let), ale ten postupně umřel, když přišlo aukro, protože prodejci dokázali z lidí na aukru dostat vyšší částky. Takže aukro + hlavně bazoš. Bazoš sice nemá karmu, takže musím jen osobky, ale tím, že se pohybuji ve velkých městech, tak je co nakupovat.
Zdar Max

[Petr Tomášek]

No, nevím, ale dneska mám "energy-efficient" ethernet i pro 10gbe, takže to žere jen když přenášíš, zato ale přeneseš mnohem rychleji. Takže to až zas tak horký nebude.

[PetebLazar]

On 10GLAN je vlastně takovou 1GLAN dneška. 1GLAN nestačí ani rychlým HDD (sekvenčně 200-250MB/s) a 10GLAN nestačí dnešním M.2 NVMe (2000MB/s).

[Jimmyx]

A proto máme Ethernet 2,5 Gbps. Na klasické disky co jsou v NAS to bohatě postačuje, občas už to je na nějaké desce, připadně karty se dají koupit z Číny za cca 500 Kč, i oficiálně stačí Cat5e kabel a spotřeba je stejná jako u 1 Gbps (ty karty jsou zcela bez chladiče). A switche co to umí, už se dají taky sem tam najít za rozumnou cenou.

Ono 10 Gbps je na doma stále poměrně drahé a žravé. Switche lze řešit variantou s SFP+, protože optické moduly i pro 10 Gbps už stojí "pár korun", ale pak je zas problém se síťovou kartou kam to SFP+ strčit. Nová karta s SFP+ pořád stojí 8-10 000 Kč, použítá stojí kolem 2 000 Kč (+ to SFP). Bonus u té optiky je galvanické oddělení a "neomezená" vzdálenost, ale to většina lidí neocení. A ve výsledku k čemu kromě pocitu ten 10 Gbps doma je ? V NASu má SSD doma asi málokdo.

V reálu NAS mám osobně připojenou tou 10 Gbps optikou (primárně kvůli galvanickému oddělení - zažil už jsem zásah bleskem), ale PC mám připojené "jen" tím 2,5 Gbps, protože to stačí a primární důvod upgradu byl stejně lock-down, kdy jsem neměl co dělat a ne nějaké zásadní omezení 1 Gbps.

[PetebLazar]

Dlouhodobé chování toho M.2 na SATA6 adaptéru je OK?

[Max]

Úplně ok, nepozoruji problémy.
Zdar Max

[Petr Tomášek]

Dle mých testů OK. Výhodou je, že je to PCIe gen3 x2, tj. ~2GB/s. Rozděleno na 5x SATA to dává teoretických ~400MB/s oběma směry (reálně to bude tak 300-350MB/s), což pro rotační disky v pohodě stačí, případně 1-2 SSD a zbytek HDD taky bude v pohodě.

Mnoho jiných SATA řadičů umí jen PCIe gen2 x1, což je pak úzké hrdlo.

[MP]

Rozděleno na 5x SATA to dává teoretických ~400MB/s oběma směry

Obema smery tezko, kdyz SATA je jednosmerova.

[PetebLazar]

Jestli neměl předřečník na mysli IO rychlost PCIe/chipsetu, ta by mohla byt full-duplex (i při half-duplex SATA). Pokud by se napriklad ze tri SSD intenzivne cetlo a na dalsi dva SSD ukladalo, mohlo by to teoreticky v souhrnu presahnout 1500MB/s(2000MBs).

[Mayhem]

Super Ale neni 32GB ramky na file server mnoho?

[Max]

Původně jsem chtěl 16GB, ale když jsem zjistil, že cena té jedné ECC je 2kkč, tak jsem si řekl, že lepší teď, než někdy v budoucnu.
Přecijen, mám tam nějakou frontu na virtualizaci a další věci, takže třeba to vysaturuji.
Zdar Max

[Petr Fiedler]

--hash sha256 --key-size 256

oproti

--hash sha512 --key-size 512

Získal jsi tím něco? Rozumím tomu, že ti to stačí. Zajímá mě, jestli to má nějaký reálný benefit?

[Max]

Benchmark jsem nedělal. Jen jsem koukal, že cryptsetup 2.4.0 by default používá velikost klíče 256bit. Jedná se tedy o default nastavení.
Zdar Max

[Petr Fiedler]

Bifurcated Riser je zajímavá věc. Napiš pak, jestli jsi to zprovoznil.

Díval jsem se, že deska má 4x SATA. Máš tam 3x HDD a 1x SSD. Proč jsi kupoval tu NVMe M2 redukci na SATA?

Vůbec nechápu co znamená, že deska podporuje KVM? Na pc nainstaluješ KVM a máš ho tam. V čem je rozdíl?

[Heron]

Vůbec nechápu co znamená, že deska podporuje KVM?

https://en.wikipedia.org/wiki/KVM_switch

Pro server to znamená možnost vzdáleného přístupu na monitor a klávesnici. Dá se takto na dálku nastavit i BIOS nebo řadič vzdáleného stroje. KVM funguje, i když je server vypnutý a lze jej na dálku zapnout. U výrobců se tomu říká IPMI, ILO apod.

[Petr Fiedler]

Tak to je dobrý, díky.

[JanM]

Taková drobnost: MB má TPM header. Klíč pro LUKS můžete uložit do TPM. Klíč bude "vydán" pro dešifrování, jen když se při bootu nic (bios, boot loader, kernel, initrd, ...) nezměnilo vůči výchozímu stavu.

Jen by to trochu mohlo zkomplikovat vzdálený přístup, pokud při aktualizaci uděláte chybku

[JanM]

Teď koukám, že to má KVM. Tak to není problém ani pro headless provoz.

[chinook]

Předpokládám, že systém máš na tom SSD. Narazil jsem na to, protože přemýším, že budu šifrovat disky. Budu měnit asi 100 stanic. A nechce se mně to pak řešit data, jak teď u těch starých až to budu vyhazovat.

Tak přemýšlím jestli to vůbec šifrovat, protože stejně bych min. musel smazat klíče. A SSD disk půjde lehce poškodit mechanicky uvidíme.

Ale překvapilo mě, že systém nemáš v raidu. A není zbytečné to mít zvlášť? Nebo si chctěl využít rychlejší SSD?