Můj aktuální-nový domácí server

20.12.2021 20:39 | Přečteno: 3792× | linux

Dlouhé roky jsem provozoval server postavený na Atomu, ale nastal čas přejít na EPYC Embedded a ECC.

Požadavky

Já jsem vesměs nenáročný uživatel. Mé požadavky byly doposud jen:

• sdílené úložiště smb a nfs pro cca 5TB dat
• provoz minidlna serveru kvůli streamování AV do TV
• tvheadend pro provoz DVB-T2 streamu do mobilů a PC s tím, že do budoucna i DVB-S2
• asterisk pro provoz malé telefonní sítě
• sbírání metrik ze sensorů
• možnost připojit 4xSATA + případně další přidáním PCI-E řadiče
• provoz TeamSpeak serveru pro sourozence a kamarády hráče
• co nejnižší spotřeba

Po cca 6 letech provozu se přecijen požadavky trochu změnily. Nejsem na tom podobně jako Heron, který potřebuje zpracovávat kvanta dat. Nicméně už to chtělo přecijen něco víc, než jen obyčejný malý NAS s nulovým výkonem. Nově tedy přibyly požadavky:

• KVM (server je na druhé straně našeho malého světa a kvm je prostě super věc, bez kvm už jen hloupá zamrzlá hláška na bios postu vytvoří nepříjemný problém)
• podpora ECC, protože to chci mít co nejvíce stable
• šifrovaný storage s možností akcelerace v rámci CPU (LUKS je parádní věc)
• virtualizace (kontejnery super, ale někdy je třeba více)
• menší cam systém (spíš než pro zabezpečení určený pro technicko-vědecké účely = růst rostlin, aktuální počasí apod.)

Původní server

Původní server nebyl nic moc, ale sloužil dobře, až mně to překvapilo. Byla to nejlevnější možná věc, co se dala koupit. Jeden čas jsem přemýšlel o nějakém ARM s nižší spotřebou, ale chtěl jsem být 100% kompatibilní se vším možným (na arm občas nějaký sw neběžel a někdy v horší kvalitě, navíc jsem občas potřeboval větší výkon) Specifikace:

• Gigabyte N3150N-D2H - Atom N3150, DualDDR3/L-1600 (nový 2081,-Kč)
• 8GB DDR3 (bazar 1000,-Kč)
• 2TB WD Green (WD20EARX-00PASB0)
• 2TB WD Green (WD20EARX-00PASB0)
• 2TB HP (MB2000GCWDA)
• 2TB SAMSUNG SpinPoint F4 EG (HD204UI)
• 120GB Crucial BX500 (CT120BX500SSD1)
• COOLERMASTER Centurion 590 (nový 1300,-Kč)
• AXAGON PCIe řadič 2x int./ext. SATA III 6G ASMedia (nový 450,-Kč)
• Noctua 120x120 (koupeny asi 3ks téměř nový bazar, celkem asi tenkrát 600,-Kč)

Všechny disky jsem kupoval bazarově za pár šuntíků, ani jeden neodešel, smart u všech ok (ten Samsung vykazuje nějaký šum, ale zatím se nehroutí).
Cena hw bez disků (včetně zdroje Fortron 350W) asi tedy cca 7000,-Kč.

Ty 2TB disky jsem měl v RAID5 (jednou rozšiřovaný) a nad tím btrfs. Ten Crucial byl pak na systém, db apod. s tím, že před ním jsem používal 32GB SSD Kingstone koupený z druhé ruky. Pořád ho mám, je stále ok. Crucial jsem koupil, protože jsem myslel, že ten Kingstone odchází, ale nakonec byla chyba jinde.

Stejnou case mám na více místech, je parádní. Dnešním standardům se trochu vzdaluje (absence USB3, horší prostor pro vyvazování/skrytí kabelů), ale jinak super. Můžu do ní dát tři klece na disky (bazarově jsem sehnal asi další 3 klece za pár šušňů), každá klec pojme čtyři 3,5" disky (některé navíc i dva 2,5" ze stran klece). Disky jsou na distančních gumách, součástí klece je větrák atd.

Základní deska má sice 16x PCI-E slot, ale zapojený má jen PCI-E 1x. Když jsem v budoucnu řešil rozšíření disků přidáním řadiče, tak jsem zjistil, že můj PCI-E 4x Adaptec je nepoužitelný. Musel jsem tedy jít do obchodu a za pár stovek koupit PCI-E 1x řadič s 2xSATA, což nakonec stačilo.

V 95% běhu měla tato sestava spotřebu 40W včetně 4xUSB DVB-T tunerů. Vše chlazeno pomocí 2x Noctua na low (první namířený na celou základní desku, druhý na disky)

Nový server

Přemýšlel jsem, do čeho jít. Nakonec jsem zjistil, že se dělají miniITX desky s EPYCem přímo na desce. Zavítal jsem k ASRocku, který má řadu ASRock Rack. Našel si tam vhodnou desku, do které bych šel. Nakonec jsem ale zjistil, že podobnou dělá i Supermicro, které mám jednak ověřený, navíc mám to jejich KVM rád a nechtěl jsem riskovat, co bude mít ten ASRock. Když cena byla podobná. Poptal jsem lepší cenu u jednoho z dodavatelů Supermicro, od kterého jsme v nedávné době nakoupili pár serverů. Bylo mi sděleno, že jejich záměrem není prodávat hw jak rohlíky obyčejným smrtelníkům (nezkušenost lidí a s tím související problémy), nicméně mně to dal (asi ověřená osoba s nějakým skillem). Kdyby mi to nedal, musel bych koupit od jiného dodavatele.

• Supermicro MBD-M11SDV-8CT-LN4F (13 600,-Kč)
• 2x 16GB DDR4 ECC 2Rx8 HMA82GR7DJR8N-WM (4 360,-Kč)
• 6TB Toshiba MG04ACA600E (Mironet: 4 315,-Kč)
• 6TB Toshiba MG04ACA600E (Mironet: 4 315,-Kč)
• 6TB Toshiba MG04ACA600E (Mironet: 4 315,-Kč)
• 120GB Crucial BX500 (CT120BX500SSD1) - nechal jsem původní
• Seasonic CORE GC-500 - 500W (1700,-Kč)
• COOLERMASTER Centurion 590 - nechal jsem původní
• 5x SATA6 to NVMe M.2 (JMB585) (asi 1200,-, už nevím)

Celkem tedy investice cca 21 000,-Kč + 13000,-Kč za disky a investice nelituji. Líbí se mi to.

Výhodou toho Supermicro je nejen serverový CPU s nízkou spotřebou, ECC a KVM, ale i to, že ten PCI-E má zapojených všech 16 linek. Navíc deska oficiálně podporuje PCIe Bifurcation (split toho slotu na 4x4 nebo 2x8). Tj., v případě potřeby je možné rozkouskovat ten slot na čtyři a připojit tak třeba čtyři PCIe karty.

PCIe Bifurcation

Ptal jsem se podpory Supermicro, zda mají nějakou rise kartu, která by umožnila PCIe Bifurcation. Nemohl jsem jí totiž u nich v nabídce najít. Z podpory mi řekli, že nenabízejí. Po nějakém hledání a procházení fór jsem našel BIFURCATED RISER X16 TO 4X4 (SET). Je to sice drahý, ale člověk občas vyhazuje prachy za větší blbosti a já toužil znát odpověď, zda to funguje a jak dobře. Navíc spousta splitterů nepodporuje PCIe 3.0 jako tento kousek.
Bohužel, zatím jsem ale neslavil úspěch. Kartu na splitnutém PCIe vidím, Linux Kernel jí také vidí, ale přístup k ní nefunguje. Až bude čas, pokusím si s tím ještě pohrát.

Původní pole nekonzistentní

Původní bylo mdadm raid5 a nad tím btrfs. Celkem asi pět AV děl se mi nepodařilo přenést na nové pole. Resp. vykazovaly chyby (btrfs hlásil nekonzistenci a rsync read I/O error). Nijak jsem to dál neřešil, protože důležitost dat nula. Pro zajímavost, chyby byly tyto:

...
[480497.684216] BTRFS error (device md5): bdev /dev/md5 errs: wr 0, rd 0, flush 0, corrupt 359, gen 0
[480497.684544] BTRFS warning (device md5): csum failed root 257 ino 25332 off 51183616 csum 0x5386b024 expected csum 0x71c38f48 mirror 1
[480497.684696] BTRFS error (device md5): bdev /dev/md5 errs: wr 0, rd 0, flush 0, corrupt 360, gen 0
[480497.694704] BTRFS warning (device md5): csum failed root 257 ino 25332 off 55709696 csum 0xcb2ac0f1 expected csum 0x78eaabae mirror 1
[480497.694856] BTRFS error (device md5): bdev /dev/md5 errs: wr 0, rd 0, flush 0, corrupt 361, gen 0
[480497.732349] BTRFS warning (device md5): csum failed root 257 ino 25332 off 52518912 csum 0x5791d163 expected csum 0xcf8562ed mirror 1
[480497.732505] BTRFS error (device md5): bdev /dev/md5 errs: wr 0, rd 0, flush 0, corrupt 362, gen 0
[480497.732838] BTRFS warning (device md5): csum failed root 257 ino 25332 off 52518912 csum 0x5791d163 expected csum 0xcf8562ed mirror 1
[480497.732990] BTRFS error (device md5): bdev /dev/md5 errs: wr 0, rd 0, flush 0, corrupt 363, gen 0
[480861.203725] btrfs_print_data_csum_error: 5 callbacks suppressed
[480861.203732] BTRFS warning (device md5): csum failed root 257 ino 25462 off 138960896 csum 0x3ceea793 expected csum 0xdbcfbaf9 mirror 1
[480861.204003] btrfs_dev_stat_print_on_error: 5 callbacks suppressed
[480861.204007] BTRFS error (device md5): bdev /dev/md5 errs: wr 0, rd 0, flush 0, corrupt 369, gen 0
[480861.209112] BTRFS warning (device md5): csum failed root 257 ino 25462 off 138960896 csum 0x3ceea793 expected csum 0xdbcfbaf9 mirror 1
[480861.209275] BTRFS error (device md5): bdev /dev/md5 errs: wr 0, rd 0, flush 0, corrupt 370, gen 0
[480861.209652] BTRFS warning (device md5): csum failed root 257 ino 25462 off 138960896 csum 0x3ceea793 expected csum 0xdbcfbaf9 mirror 1
[480861.209808] BTRFS error (device md5): bdev /dev/md5 errs: wr 0, rd 0, flush 0, corrupt 371, gen 0
[493089.180232] BTRFS warning (device md5): csum failed root 257 ino 373299 off 12536250368 csum 0x4dda6bed expected csum 0xdb022a53 mirror 1
[493089.180390] BTRFS error (device md5): bdev /dev/md5 errs: wr 0, rd 0, flush 0, corrupt 372, gen 0
[493089.226825] BTRFS warning (device md5): csum failed root 257 ino 373299 off 12536250368 csum 0x4dda6bed expected csum 0xdb022a53 mirror 1
[493089.226991] BTRFS error (device md5): bdev /dev/md5 errs: wr 0, rd 0, flush 0, corrupt 373, gen 0
[506618.453951] BTRFS warning (device md5): csum failed root 257 ino 373299 off 12536250368 csum 0x4dda6bed expected csum 0xdb022a53 mirror 1
[506618.454105] BTRFS error (device md5): bdev /dev/md5 errs: wr 0, rd 0, flush 0, corrupt 374, gen 0
[506618.464422] BTRFS warning (device md5): csum failed root 257 ino 373299 off 12536250368 csum 0x4dda6bed expected csum 0xdb022a53 mirror 1
[506618.464576] BTRFS error (device md5): bdev /dev/md5 errs: wr 0, rd 0, flush 0, corrupt 375, gen 0

a rsync pak hlásil:

...
2021/12/11 18:36:06 [83510] >f+++++++++ 0-backup-0/neco1.avi
2021/12/11 18:36:06 [83510] rsync: read errors mapping "/mnt/datastore/0-backup-0/neco.avi": Input/output error (5)
2021/12/11 18:36:06 [83510] WARNING: 0-backup-0/kaminek/neco.avi failed verification -- update discarded (will try again).
2021/12/11 18:36:08 [83510] >f+++++++++ 0-backup-0/kaminek/neco.avi
2021/12/11 18:36:08 [83510] rsync: read errors mapping "/mnt/datastore/0-backup-0/neco.avi": Input/output error (5)
2021/12/11 18:36:08 [83510] ERROR: 0-backup-0/neco.avi failed verification -- update discarded.
...
2021/12/11 18:36:10 [83510] >f+++++++++ 0-backup-0/neco2.avi
2021/12/11 18:36:10 [83510] rsync: read errors mapping "/mnt/datastore/0-backup-0/neco2.avi": Input/output error (5)
2021/12/11 18:36:10 [83510] WARNING: 0-backup-0/neco2.avi failed verification -- update discarded (will try again).
2021/12/11 18:36:12 [83510] >f+++++++++ 0-backup-0/neco2.avi
2021/12/11 18:36:12 [83510] rsync: read errors mapping "/mnt/datastore/0-backup-0/neco2.avi": Input/output error (5)
2021/12/11 18:36:12 [83510] ERROR: 0-backup-0/neco2.avi failed verification -- update discarded.
...

Vzhledem k tomu, že jsem neměl další kopii dat, tak scrub by byl skoro zbytečný (jen by mně upozornil na existenci problému, ale už bych s tím nic neudělal). Každopádně v případě raid1 bude asi dobré dělat scrub nějak pravidelně jednou za měsíc apod.).

Ikdyž člověk nemá alá RAID1, tak díky btrfs ví, že je něco špatně, a co konkrétně. Mít ext4, tak nejspíše dojde ke zkopírování a člověk bude mít poškozená data a nevědět o tom. V případě mdadm je nějakou dobu venku dm-integrity. Kdo tedy z nějakého důvodu nechce btrfs nebo zfs, tak může ještě zkusit jít cestou dm-integrity.

Jak vypadá nové diskové pole

Mdadm je už zbytečné, doba pokročila. Použil jsem jen btrfs v režimu raid1 pro data a raid1c3 pro metadata. Tj., na jednotlivé disky jsem nasadil LUKS a výsledné tři encryptované blokové zařízení jsem naformátoval na btrfs. V plánuje je dokoupit ještě jeden 6TB disk, takže by to pak mělo být ideální rozložení.

Pokud někoho zajímá, jak jsem to poskládal, tak klasicky standardně:

# vytvoříme LUKS
cryptsetup --cipher aes-xts-plain64 --hash sha256 --key-size 256 --pbkdf argon2id --type luks2 --use-urandom --verify-passphrase luksFormat /dev/sdb
cryptsetup --cipher aes-xts-plain64 --hash sha256 --key-size 256 --pbkdf argon2id --type luks2 --use-urandom --verify-passphrase luksFormat /dev/sdc
cryptsetup --cipher aes-xts-plain64 --hash sha256 --key-size 256 --pbkdf argon2id --type luks2 --use-urandom --verify-passphrase luksFormat /dev/sdd

# odemkneme
cryptsetup open /dev/sdb crypt_dev-part1
cryptsetup open /dev/sdc crypt_dev-part2
cryptsetup open /dev/sdc crypt_dev-part3

# naformátujeme na btrfs (kvůli raid1c3 je třeba novější kernel i btrfs-progs, používám z Debian Backports)
mkfs.btrfs -m raid1c3 -d raid1 /dev/mapper/crypt_dev-part1 /dev/mapper/crypt_dev-part2 /dev/mapper/crypt_dev-part3

# upravíme fstab
UUID=68076d9e-26ab-4714-875d-f512225dfbbc         /mnt/datastore2      btrfs   defaults,acl,nofail                          0       0

# připojíme na sync dat
mount /mnt/datastore2

Když chceme automatické mapování při bootu bez zadávání hesla, tak si vygenerujeme klíč a ten přidáme jako druhý ověření do jednotlivých luks device:

# vygenerujeme klíč
dd if=/dev/urandom of=/etc/.lukskey bs=512 count=4

# nastavíme práva
chmod 400 /etc/.lukskey

# přidáme ho do luks device:
cryptsetup luksAddKey /dev/sdb /etc/.lukskey
cryptsetup luksAddKey /dev/sdc /etc/.lukskey
cryptsetup luksAddKey /dev/sdd /etc/.lukskey


# přidáme do /etc/crypttab
# <target name>      <source device>                              <key file>    <options>
crypt_dev-part1      UUID=420f4n70-76d2-41fc-b9ba-fqa3cb54b518    /etc/.lukskey    luks
crypt_dev-part2      UUID=1bed5950-7219-4dd7-93d7-44fces9fq0ea    /etc/.lukskey    luks
crypt_dev-part3      UUID=21af8g28-153d-430b-and0-ae6feafeee9e    /etc/.lukskey    luks

Samozřejmě "/etc/.lukskey" je třeba dále zabezpečit, teda pokud bychom nechtěli řešit jen problém s přístupem k datům v případě reklamace apod. Taktéž je v takovém případě lepší vygenerovat silnější klíč a né přes urandom. Na luks pak použít 512bit klíč apod. Já použil to, co použil, protože je to pro mé potřeby dostatečné.

Chlazení, teploty a spotřeba

Chlazení mám víc než dobré. CPU se drží s trochu agresivnějším větráním na 30C a všechno na desce je studený. V případě méně agresivního chlazení jsme na 35C. Disky topí s agresivnějším chlazením na 22C. Server je ve sklepě, kde je přes zimu chládek. Letní teploty jsem si nezaznamenával, takže tam nevím. Nicméně teplota ve sklepě je cca 17C. Přes léto jsou teploty vyšší, ale stále to v dobrých mezích (CPU do 45C a disky do 37C).
Pokud jde o spotřebu, bavíme se o cca 50W-60W, podle toho, co se děje.

Závěr

Investice to byla větší, ale zase počítám, že by to mohlo být už na delší dobu, než 5 let a myslím si, že vzhledem k nezatížení a dobrému chlazení by to neměl být problém. A jak jste na tom vy? Také nevíte, kam s prachama? :)

Zdar Max

PS: někdy vám možná nafotím i home serverovnu s rackem

       

Obrázky

Komentáře

[Josef Kufner]

Hezké. Také uvažuju o občerstvení domácího serveru. Ta deska tam už chrochtá 11 let a výkonem je to tak nějak na hraně (první generace i3). Některé komponenty budou mít za pár dní 16 let. Když nepočítám občasné chcípnutí disku či kabelu k němu, tak nejzávažnější závada bylo odpadnutí chladiče z CPU, neboť ty plastové čudlíky se po pár letech odvibrovaly do unavena. Tak jsou tam už pěkných pár let pořádné šrouby, které když jsem moc utáhnul, tak to nebootovalo.

Letos jsem navíc doplnil malou UPS, aby se pořešily drobné (a vzácné) výpadky a umožnilo nějaké to přepojování za běhu.

Jak vlastně řešíš odhlučnění a vibrace?

[disorder]

ja mam uz dlhsie APC UPS, po 8 rokoch vymena baterie za neoriginalnu. asi 2 roky to slapalo a potom sa to zacalo vypinat bez zjavneho dovodu.

[Max]

Na fotkách můžeš vidět, že case je vypolstrovaná a jsou utěsněny otvory, kydu nechci, aby proudil vzduch. Dále 2x 120x120 Noctua na low otáčky nehlučí. Disky jsou také tichý. Navíc v aktuální poloze je mi hluk putna, protože to mám ve sklepě.

Jinak vibrace skoro žádný, Noctua větráky jsou na low a uchycený přes ty jejich gumy. A jak jsem napsal, disky jsou v klecích uchycený přes gumové distanční podložky.
Zdar Max

[Josef Kufner]

Díky. Já právě musím nějak pořešit hlavně disky, neboť ty drobné vibrace se za dobrých podmínek dokážou donést docela daleko. Trochu si pohrávám s myšlenkou udělat něco jako se dělá pro přesné laboratorní váhy – posadit to na těžkou odpruženou dlaždici.

[Max]

Jak říkám, řeším gumovýma distančníma podložkama, které jsou součástí klece, nebo součástí lepších skříní + zbytek řeší dostatečně tuhá skříň. Kdo místo pořádné skříně používá nějakou tenkou plečku/papír, tak ty vibrace nikdy nevyřeší.
Zdar Max

[j]

Viz Max, pokud ti vadi tohle, tak mas blbej (levnej) case. Ty lepsi jsou skladany jako sendvic, typicky mas kombinaci plechu, plastu a pryze. A pocitej taky s tim, ze takova bedna i prazdna bude vazit 10kg a vic. Mam case od antecu, a realne se ozve jen pri startu, kdy se vse pusti naplno. Ani v maximalni zatezi to nedela zadnej kraval, jediny co se ozve je GPU. Samo mechanicky disky jsou v kleci s tema podlozkama (je to nejakej silikon).

Jestli chces alternativni reseni pro chudy, tak si priprav kus spagatu (lepsi je neco trochu pruznyho, ale ne gumicky, ty prasknou), udelej uzliky, a vyvaz disky do 5 1/4 pozic. To funguje taky, jen to pak neni zrovna stehovaci. Ty disky z toho nevypadnou, ale budou se mlatit o sebe + vypadaj kabely, pokud to prevratis a tak.

---

Dete s tim guuglem dopice!

[Josef Kufner]

No, ten case je 16 let starý a tehdy to byl docela dobrý kousek. Díky za tip.

[marbu]

V případě mdadm je nějakou dobu venku dm-integrity. Kdo tedy z nějakého důvodu nechce btrfs nebo zfs, tak může ještě zkusit jít cestou dm-integrity.

Ten dm-integrity je device mapper target (podobně jako dm-crypt, který je používán LUKSem pro šifrování), zatímco MD RAID (softwarový RAID v Linuxu), co se ovládá mdadm utilitou, nad device mapperem postaven není. Akorát existuje device mapper target dm-raid, který je jen wrapper nad tím MD raidem, aby šel použít v rámci složitější device mapper konfigurace.

Jinak bych dm-integrity doporučil používat buď přes LUKS (cryptsetup má volbu --integrity) nebo stratis, na přímo to bylo poměrně pracné na konfiguraci, když jsem to naposledy studoval. Ale pořádně jsem to sám zatím netestoval.

[AraxoN]

A jak jste na tom vy?

Môj domáci server ešte stále beží na Atome (ITX Intel DN2800MT), ktorý som v roku 2013 kúpil z druhej ruky od nejakého dobrodinca tu na abclinuxu alebo na roote. Už niekoľkokrát som si robil research, či to nenahradím niečím novším, ale nakoniec som to vždy vzdal - nenašiel som podobne šetrnú zostavu.

Koľko Ti to žerie wattov v idle?

[Max]

To tam píšu, 50-60W. Nižší hodnota je idle, ale spíše náhodnější, reálně je to něco kolem 53W.
Je to tedy o 13W horší, jak s tím Atomem, ale výkon je úplně někde jinde, je tam KVM a místo jednoho modulu jsou tam dva, navíc ECC.
Takže vzhledem k tomu, kolik fcí a výkonu přibylo, tak to je relativně malý nárůst spotřeby.
Zdar Max

[j]

Jinak receno, sezere ti to +- 6Kc/den ... nebo jedno (covidovy, na normalni by to nestacilo)pivo na staromaku mesicne ...

Proto tvrdim, ze nikoho normalniho spotreba nejakyho furtbezicino nasu nemusi vubec zajimat.

Jinak si myslim, ze za ty prachy (13k), pricemz jeste pises ze to byla "lepsi" cena, se da koupit mnohem zajimavejsi HW. Tak nejak bych za ty prachy cekal na ty desce sas, a ne 4 sata porty. Pripadne SFP+.

Kdyz pudu do frcu, tak za ty prachy koupis kompletni 1U stroj a spotrebu to vetsi pri danym vyuziti mit nebude. Jo, asi to bude delat kraval, to jo. Ale to je ve sklepe/na pude prevazne jedno.

---

Dete s tim guuglem dopice!

[Max]

Účkový server je ošklivejší level. Žere to víc a "odhlučnění sklepa" není nekonečné. Sice mám svůj rack s infrastrukturou, ale mám pocit, že nemá ani odpovídající hloubku, abych tam mohl hodit server na ližiny. Navíc reálně žere každý účko minimálně 100W.
Při spotřebě 55W a ceně 4,-Kč/kWh jsem na ceně 2000,-Kč/rok. S těmi 100W bych byl nejspíše na dvojnásobku. Zbytečné plýtvání a nic navíc by mi to nedalo (výkon bych nevyužil a měl spíše ještě vícenáklady na řešení úložného prostoru pro disky, protože do 1U dáš 4x 3,5", musel bych tedy jít minimálně do nějakého 2U a pak ještě shánět rámečky na disky)
Ne, toto jsem si také promýšlel a mělo to pro mě samé nevýhody a žádnou výhodu.
Zdar Max

[Ondro]

Naozaj kazde U-cko zere minimalne 100W? Mam doma HP DL-360p Gen 8. 2x 2630L v2, 128GB RAM, SAS radic, 4x1Gbit Lan, 2x460W zdroj, asi 10 ventilatorov a spotreba v idle 50-55W bez diskov len s jednym SSD.

[Heron]

Jinak si myslim, ze za ty prachy (13k), pricemz jeste pises ze to byla "lepsi" cena, se da koupit mnohem zajimavejsi HW

Sem s tím.

Tak nejak bych za ty prachy cekal na ty desce sas

Za ty prachy možná jo, ale sas řadič se mi válí na stole jako dekorace. Hádej proč? SAS disky nějak doma nemám. (Ano vím, že řešení existuje.)

Kdyz pudu do frcu, tak za ty prachy koupis kompletni 1U stroj a spotrebu to vetsi pri danym vyuziti mit nebude. Jo, asi to bude delat kraval, to jo. Ale to je ve sklepe/na pude prevazne jedno.

1U je celkem k ničemu. Kdybych měl někdy nahradit ty bigtowery, tak minimálně 4U. Do 1U nedáš tolik disků, špatně se to rozšiřuje apod. Měl jsem to a prodal jsem to (bazar tady na abc, před cca 10 lety).

[j]

Tak rec byla k tomu ze do 4 disku a to do 1U das vpohode. Pokud jde o SAS, tak je to zas o tom, za na to normalne sata disky pripojis, ale nejses omezenej na 4. Pokud chces vic disku, tak peknej bazarovej kousek je trebas MD1000 pokud jeste nekde sezenes. Je to (SASova) krabice na 15(sas/sata) disku. Samo, potrebujes k tomu jeste stroj s tim sas radicem.

Jup, taky se da udelat cosi cemu dellaci rikaj nls = je to sata disk s redukci na sas. Tu redukci (vcetne supliku) koupis ve frcu za cca 10Ecek ks.

---

Dete s tim guuglem dopice!

[AraxoN]

Ach, to som myslel, že je pri nejakej záťaži... Mne to teraz robí v idle asi 12W s dvoma 2.5" diskami. Preto si neviem vybrať - vždy mi v novej zostave vyjde mnohonásobok pôvodnej spotreby.

Jeden Watt spotreby ročne stál pred zdražovaním asi 1,50 €. Ak som teda miesto ~50W mašiny prevádzkoval tých osem rokov len 12W, ušetril som 57 € ročne, spolu 456 € za 8 rokov. To mi až také zanedbateľné nepríde.

[MP]

Zkuste na tom (starem) atomu sifrovat...To ta spotreba/vykon bude najednou jinde.

[AraxoN]

Časť disku je šifrovaná, a áno, výkon je mizerný. Na druhej strane dostatočný pre moje potreby.

[Heron]

A jak jste na tom vy?

Já domácí služebníky stavím z bývalých desktopů. Takže aktuálně hlavní workhorse je FX8350 na FreeBSD. ZFS a v tom aktuálně 6x4TB disky. Zatím to stačí. Jak cpu, tak storage. K tomu ještě zálohovací Linux na nějaké i5.

Koncept je takovej, že na BSD je ZFS, na Linuxu je 6x XFS (oddělený FS). Potom ještě občas externí záloha na externí disky.

Použití se mění. Dřív jsem měl QEMU KVM (na linuxu), potom objevil nspawn a potom přešel na FreeBSD a na jaily.

No a když je potřeba něco spočítat, tak na desktopu R7 1800x. Zatím to stačí. I na hry stačí ta RX480 8GB. (AMD sice po mě chce, abych si koupil novou, ale kašlu jim na no. Ten "advisor" doporučuje RX6900XT a R9 5950X - grafika za 50tis a cpu za 20tis. pro Skyrim a CyberPunk? Jako na jednu stranu chápu, že lákaj lidi na nový HW, ale tohle je extrém. Kdyby to radilo normálně, tak si novej HW koupí víc lidí a budou to obměňovat třeba postupně - teda krom toho, že dneska nic není k sehnání.)

Vlastně jsem ještě nikdy neudělal to co ty teď, že bych to postavil komplet znovu. (Jasný, v desktopu nemám 6 disků, takže ty se koupí. V serveru zase nemám herní grafiku, takže ta půjde pryč.)

Také nevíte, kam s prachama?

Momentálně, i vzhledem k aktuální situaci, jsem všechny zbytečný nákupy stopnul. Ceny jsou šílený, pokud nic neodejde, tak se nic kupovat nebude. Nějaké plány na rozšíření jsou, ale teď to není na pořadu dne.

Díky, pěkná mašinka, užij si to!

[j]

Jo, taky sem si rikal, ze bych mel vymenit GPU ... a ted jak tak koukam, bych tu svoji letitou moh prodat skorem za cenu novy ... tak nic, 40-50k za grafarnu fakt nedam. Pocitam ze brzo vyjde nakej clanek (jako kazdej rok) ze PC umira, ze nikdo nic nekupuje ... protoze ... konzole taky nejsou ;D

BTW: jelikoz mam v supleti dily na nejmin jeden komplet stroj, tak se nic kupovat nebude ani kdyz neco odejde.

---

Dete s tim guuglem dopice!

[Heron]

Taky toho mám na hraní mnohem víc. Ještě Intel NUC a dva NTB. Takže celkem 3 desktopy a dva NTB a NUC. Ještě jednu levnou grafiku (2GB), takže kdyby odešlo RXko, tak mám co dát do desktopu (akorát bych chvilku přestal hrát). Teď se prostě nic kupovat nebude.

Pocitam ze brzo vyjde nakej clanek (jako kazdej rok) ze PC umira, ze nikdo nic nekupuje ... protoze ... konzole taky nejsou ;D

Jo, nejsou. Kolegové v práci na jaře houfně objednávali PS5. Ještě je afaik nemají. Btw. jsem jedinej z firmy, kdo má doma herní pecko. Všichni mají NTB a k tomu PSko nebo Xbox. Ale tak to je jejich věc. Každému vyhovuje něco jiného.

[a1bert]

ja jsem na tom:

asrock J4105M
1 x 16 GB DIMM (Apacer D12.2226BS.001)
btrfs (TOSHIBA HDWD130 3TB + TOSHIBA DT01ACA300 3TB)
2xUSB DVB-T2
1xPCIe DVB-S2
1xArduinoNano

30-35W

[Petr Tomášek]

Hezké, akorát to nemá 10gbe. Zvlášť, když je to míněno jako NAS pro velké soubory, bych už dnes novou věc bez 10gbe nebral...

[Max]

Problém 10Gbe je ten, že to prostě žere. Navíc Base-T je pro mě nepoužitelný, takže jedině karty se SFP+ šachtama a do toho moduly. Toto je pak zbytečně energeticky náročné a reálně ten výkon stejně nevyužiji. Nezpracovávám velké objemy dat, je to jen odkládací prostor a stremovací server, který na Gbit funguje s velkýma rezervama.
Zdar Max

[Max]

Jinak jako hlavní switch používám MikroTik RB3011UiAS-RM (bazar za necelých 2kkč), který má fakt trapně malou spotřebu a výkonově mi přebohatě stačí.
Přechod na 10Gbit pro core síť a PC by byl cenově nerentabilní a spotřeba by se mi také už nelíbila.
Zdar Max

[Heron]

Jinak jako hlavní switch používám MikroTik RB3011UiAS-RM (bazar za necelých 2kkč), který má fakt trapně malou spotřebu a výkonově mi přebohatě stačí.

Pěkný. Já používám starý RB450G, plus ve druhém pokoji RB751G (AP, router), ten už by chtěl vyměnit, možnosti wifi jsou dnes už trochu jinde. Zatím stačí. Ty máš předpokládám nataženou strukturku? Cat5e nebo 6?

[Max]

Moje domácí wifi síť obsahuje skoro 20 mikrotiků. Sdílím konektivitu i sousedům, zajišťuji jim wifi jak v domě, tak na zahradě za domem atd.
Každopádně v domě dělám rekonstrukci, jak data, tak el., tak omítky atd. Někdy se o tom rozepíšu (pár lidí mě označilo za blázna, když to viděli :D)
Každopádně pokud jde o data, tak základ mám na tomto:

• SOLARIX zásuvka CAT6, STP, 2 x RJ45, pod omítku, bílá (SX9-2-6-STP-WH)
• SOLARIX kabel, CAT6, FTP LSOH, 500m, špulka (SXKD-6-FTP-LSOH)
• 19" Patch panel Solarix 24 x RJ45 CAT6 STP černý (SX24-6-STP-BK)

Zdar Max

[Max]

Ještě dodám, že už mám hotové i nové zemění (celkem asi 30m pásoviny a aby to byla i jistota, tak každé 2m zemnící tyče, z toho cca 20m je v hodně promáčené půdě, takže paráda), jen ještě musím vylézt na střechu a udělat k tomu i nový hromosvod.
Každopádně sólo zemnící okruh pro radioelektroniku jsem nedělal, už na to nebyl prostor ani nálada, takže jsem to vyhodnotil jako zbytečnost :D
Zdar Max

[Heron]

pár lidí mě označilo za blázna, když to viděli

Já tě považuju za totálního magora

Takže Cat6.

Doma chci udělat propoj p2p na Cat6 a 10GbE mezi serverem a desktopem (zatím bez switche). Chtěl jsem to mít hotové "přes vánoce". Zatím mi CPOST "nedoručuje" (prý jsem včera nebyl zastižen, ehm, rohlíku se to podařilo na první pokus, ale chápu, že když to cpost má cca 100m vzdušnou čarou od pobočky, že je to neřešitelný problém) ani nijak nesouvisející balík z Německa, takže upgrade sítě odloženo na neurčito.

[Max]

Jop, cat6a a cat7 jsem vyhodnotil jako něco, co nikdy nepoužiji, protože když budu chtít něco víc, tak jedině optika. Šel jsem tedy do lepšího cat6 (stítěný protihořlavý drát). Ta samozhášlivost u drátu je důležitá kvůli případným čidlům (kouřovým apod.), ale reálně je to oficiálně nepoužitelné.
Když jsem to naposledy zjišťoval, tak protikouřová čidla musí být propojena s ústřednou právě přes tento typ kabelů, ale aby to bylo ofiko, musí na to být projekt a musí se pod to někdo podepsat. Zřejmě kvůli tomu pak všude možně vládnou čidla na baterky, kde se musí každý rok (někdy každé dva roky) měnit baterie, což se spojuje s pravidelnou revizí a testem (kouřový čidla se myslím musí jednou ročně testovat, je na to nějaký sprej).
Zdar Max

[Tomáš]

Ve kterých bazarech tak lovíš?

[Max]

Dřív jsem všechno nakupoval přes ocguru (hafec hafec let), ale ten postupně umřel, když přišlo aukro, protože prodejci dokázali z lidí na aukru dostat vyšší částky. Takže aukro + hlavně bazoš. Bazoš sice nemá karmu, takže musím jen osobky, ale tím, že se pohybuji ve velkých městech, tak je co nakupovat.
Zdar Max

[Petr Tomášek]

No, nevím, ale dneska mám "energy-efficient" ethernet i pro 10gbe, takže to žere jen když přenášíš, zato ale přeneseš mnohem rychleji. Takže to až zas tak horký nebude.

[PetebLazar]

On 10GLAN je vlastně takovou 1GLAN dneška. 1GLAN nestačí ani rychlým HDD (sekvenčně 200-250MB/s) a 10GLAN nestačí dnešním M.2 NVMe (2000MB/s).

[Jimmyx]

A proto máme Ethernet 2,5 Gbps. Na klasické disky co jsou v NAS to bohatě postačuje, občas už to je na nějaké desce, připadně karty se dají koupit z Číny za cca 500 Kč, i oficiálně stačí Cat5e kabel a spotřeba je stejná jako u 1 Gbps (ty karty jsou zcela bez chladiče). A switche co to umí, už se dají taky sem tam najít za rozumnou cenou.

Ono 10 Gbps je na doma stále poměrně drahé a žravé. Switche lze řešit variantou s SFP+, protože optické moduly i pro 10 Gbps už stojí "pár korun", ale pak je zas problém se síťovou kartou kam to SFP+ strčit. Nová karta s SFP+ pořád stojí 8-10 000 Kč, použítá stojí kolem 2 000 Kč (+ to SFP). Bonus u té optiky je galvanické oddělení a "neomezená" vzdálenost, ale to většina lidí neocení. A ve výsledku k čemu kromě pocitu ten 10 Gbps doma je ? V NASu má SSD doma asi málokdo.

V reálu NAS mám osobně připojenou tou 10 Gbps optikou (primárně kvůli galvanickému oddělení - zažil už jsem zásah bleskem), ale PC mám připojené "jen" tím 2,5 Gbps, protože to stačí a primární důvod upgradu byl stejně lock-down, kdy jsem neměl co dělat a ne nějaké zásadní omezení 1 Gbps.

[PetebLazar]

Dlouhodobé chování toho M.2 na SATA6 adaptéru je OK?

[Max]

Úplně ok, nepozoruji problémy.
Zdar Max

[Petr Tomášek]

Dle mých testů OK. Výhodou je, že je to PCIe gen3 x2, tj. ~2GB/s. Rozděleno na 5x SATA to dává teoretických ~400MB/s oběma směry (reálně to bude tak 300-350MB/s), což pro rotační disky v pohodě stačí, případně 1-2 SSD a zbytek HDD taky bude v pohodě.

Mnoho jiných SATA řadičů umí jen PCIe gen2 x1, což je pak úzké hrdlo.

[MP]

Rozděleno na 5x SATA to dává teoretických ~400MB/s oběma směry

Obema smery tezko, kdyz SATA je jednosmerova.

[PetebLazar]

Jestli neměl předřečník na mysli IO rychlost PCIe/chipsetu, ta by mohla byt full-duplex (i při half-duplex SATA). Pokud by se napriklad ze tri SSD intenzivne cetlo a na dalsi dva SSD ukladalo, mohlo by to teoreticky v souhrnu presahnout 1500MB/s(2000MBs).

[Mayhem]

Super Ale neni 32GB ramky na file server mnoho?

[Max]

Původně jsem chtěl 16GB, ale když jsem zjistil, že cena té jedné ECC je 2kkč, tak jsem si řekl, že lepší teď, než někdy v budoucnu.
Přecijen, mám tam nějakou frontu na virtualizaci a další věci, takže třeba to vysaturuji.
Zdar Max

[Petr Fiedler]

--hash sha256 --key-size 256

oproti

--hash sha512 --key-size 512

Získal jsi tím něco? Rozumím tomu, že ti to stačí. Zajímá mě, jestli to má nějaký reálný benefit?

[Max]

Benchmark jsem nedělal. Jen jsem koukal, že cryptsetup 2.4.0 by default používá velikost klíče 256bit. Jedná se tedy o default nastavení.
Zdar Max

[Petr Fiedler]

Bifurcated Riser je zajímavá věc. Napiš pak, jestli jsi to zprovoznil.

Díval jsem se, že deska má 4x SATA. Máš tam 3x HDD a 1x SSD. Proč jsi kupoval tu NVMe M2 redukci na SATA?

Vůbec nechápu co znamená, že deska podporuje KVM? Na pc nainstaluješ KVM a máš ho tam. V čem je rozdíl?

[Heron]

Vůbec nechápu co znamená, že deska podporuje KVM?

https://en.wikipedia.org/wiki/KVM_switch

Pro server to znamená možnost vzdáleného přístupu na monitor a klávesnici. Dá se takto na dálku nastavit i BIOS nebo řadič vzdáleného stroje. KVM funguje, i když je server vypnutý a lze jej na dálku zapnout. U výrobců se tomu říká IPMI, ILO apod.

[Petr Fiedler]

Tak to je dobrý, díky.

[JanM]

Taková drobnost: MB má TPM header. Klíč pro LUKS můžete uložit do TPM. Klíč bude "vydán" pro dešifrování, jen když se při bootu nic (bios, boot loader, kernel, initrd, ...) nezměnilo vůči výchozímu stavu.

Jen by to trochu mohlo zkomplikovat vzdálený přístup, pokud při aktualizaci uděláte chybku

[JanM]

Teď koukám, že to má KVM. Tak to není problém ani pro headless provoz.

[chinook]

Předpokládám, že systém máš na tom SSD. Narazil jsem na to, protože přemýším, že budu šifrovat disky. Budu měnit asi 100 stanic. A nechce se mně to pak řešit data, jak teď u těch starých až to budu vyhazovat.

Tak přemýšlím jestli to vůbec šifrovat, protože stejně bych min. musel smazat klíče. A SSD disk půjde lehce poškodit mechanicky uvidíme.

Ale překvapilo mě, že systém nemáš v raidu. A není zbytečné to mít zvlášť? Nebo si chctěl využít rychlejší SSD?