Dotaz: HW na domaci maly server

[jojo]

Idealne by bolo ak by sa jednalo o mini PC (mini ITX, alebo micro ATX), chcel by som to umiestnit do 9U racku, cize aby to nezabralo polovicu racku.

O co mi ide.

Oblubil som si Proxmox. Momentalne mam odroid H2 a sluzi celkom dobre. Mam tam 32GB ram a systemove SSD v ZFS mirror. Chcel by som dalsie SSD na data. Bohuzial Odroid ma len 2x SATA + 1x NVME. Cize tie datave SSD som dal cez USB 3.0. Avsak ked mam zapojeny jeden datovy disk tak vsetko OK. Ked zapojim druhy, tak je to zle, lebo su obidva pod rovnakym ID a to robi riadny bordel. Jedna sa o axagon adaptery a z agsagonu mi odpisali, ze to neni ich problem a riesit to mam z podporou OS (cize by som to mal riesit z debianom). Ak su disky zapojene cez sata, tak je vsetko OK, ale ked su zapojene cez axagon USB adapter, tak cez /dev/disk/by-id je tam vidiet len jeden disk.

OK ale s5 k teme.

Na buducom servery by som chcel robit aj firewall (pfSense), takze idealne, ak by mala MB aj

• 2x LAN.
• Aspon 4x SATA (lepsie 6x SATA)
• Skor by som sa priklanal k Intelu, ako AMD
• NVME
• Aspon 1 PCIe x1 (prip x16, clovek nikdy nevie)
• Podpora IOMMU (pre pripad passthrough)

Ked som hladal MB, tak som nasiel zopar kusov, bud od gigabyte, asrock a pod. ale vsetko to su asi 2-3 rocne MB a uz ich nikto nepredava. Celkom sa mi pacia aj bazarove rackove servery HP , Dell a spol, ale do dmaceho racku co ma dlzku 450mm by to nevoslo a navyse ma niekolkonasobne vyssiu spotrebu ako nejaky mini itx.

Odpovědi

[AraxoN]

Podľa mňa do takto plytkého racku server nepatrí. Ja sám mám podobný 9U rack a server som dal do normálnej ATX skrinky pod rack. Ďalšie servery potom do technickej miestnosti na regál.

Doba 2 a pol wattových Atomov už bohužiaľ skončila a s ňou aj Mini-ITX ako form factor. Kto chce nízku spotrebu, siahne po Raspi a jeho odnožiach, kto viac diskov, použije hotové NAS alebo si postaví niečo na báze microATX...

[Peter Golis]

Nejako nerozumiem otázke.

Ak to má byť server, tak okolo 1000€ stoja zákldné modely 1U, ktoré majú cca 4 hotplug pozície a min 2 SAS porty na pripojenie externého diskového shelfu.

Ak to má byť skladačka, tak sa to s diskami v tak malom racku uvarí. A to aj keby bol ten rack v mrazáku.

[jojo]

Sorry, ale vy hned vidite nejaky priemisel so serverovnou, klimatizaciou, 20U rack s 2500 uzivatelmi co ma spotrebu pol kilowatu.

Napisal som, ze mam Odroid H2 a teraz sa vlecie CPU na 10%. Mam ZFS mirror a RAM nejde nad 7-8 GB s 2xKVM a 6 LXC (zatial). Problem je, ze ma len 2 sata porty a dalsi pool je dost blbost prevadzkovat cez USB 3.0.

Ja chcem server na doma!! Mam obycajny GPON 500/100 Mbps (vyhoda verejna IPv4). V LXC mam nejake weby, cloud, lokalna IPTV a nejake drobne sluzbycky. Zariadenia ktore pripajam do siete spocitas na jednej ruke.

Nepotrebujem server s dvoma CPU a 128 GB ram + sas disky, to je overkill.

Uplne mi staci podobna nahrada za odroid H2, idealne mini itx. Pacia sa mi MB s cipsetom B550, kde mozes dat 6-8 jadrove CPU napr. ryzen 5 5600 a pod + 32GB RAM (aj to som uz po HW stranke hodne prehnal). Pychne sa to do malickej case a sup do racku. Urcite sa to neuvari, ked pojde CPU na 5%.

[Peter Golis]

Ale nie. Ja si vždy len spomeniem ako u zákazníkov zomreli nejaké mašiny v podobných (aj keď mierne väčších) rackoch bez ventilátora. Vyťaženie tej technológie bolo v percentách menšie ako odhaduješ u teba. Vkladať hocijakú dosku do krabice 2U v racku mi preto príde mierne mimo.

A ja by som sa tiež priklonil ku niečomu, čo bude mimo toho racku. Nech sa to neuvarí v tom akváriu.

PS: Počet SATA portov si môžeš zväčšiť cez hniezdo, hľadaj SATA PORT MULTIPLICATOR.

[jojo]

Uz niekolko rokov, pred tym asrock j1900, teraz droid j4105 (vsade pasivne chladenie, ziadne fany) to mam vsetko ulozene bez case na peknom nerezovom regaly (podlazka je asi 0.7 cm plexy). Zatial sa mi nikdy nic neuvarilo.Chcel by som rack, ale samozrejme to bude otvorene. Mohlo by to vyzerat nejak takto (myslim tu otvorenost). Celkom sa mi pozdava tato MB, ale bohuzial sa uz nikde nepredava. Mozno je takychto MB viac ale neviem najst nieco slusne za dobry peniaz.

[Peter Golis]

Bez case, to akože bez 2U krabice ktorú si veľkostne definoval na začiatku? Nejako ťa prestávam rozumieť.

[jojo]

Tak skus si este raz precitat prvy prispevok. A napis, kde som pisal, ze chcem 2U server.

V poslednej vete som spomenul, ze sa mi pacia aj bazarove rack servery, ale ze to neni pre mna.

[Peter Golis]

Tak pardon a to 2U. Ale ajtak, dávať do tak malého racku toľko diskov bez vetroňa je trochu riziko. Buď sa budú uspávať (a budú tak robiť v RAIDe problém), alebo budú dosť kúriť (a budú tak potrebovať aspoň vetrák na chladenie)...

Bazárové rackové servre tiež potrebujú chladenie.

Ale je pravda že RAID v dnešnej dobe zvládne hocičo. I keď by to malo mať zodpovedajúci prietok na zbernici aby človeku neklesol výkon zápisu.

[jojo]

Mal som davnejsie 3 TB 3.5" HDD, ficalo to tam asi 3 roky a bolo tam 100GB dat. Tak som sa rozhodol, ze si kupim 2x 1 TB SSD (to uz mam kupene) a 3.5" HDD som zrusil. Cize teraz: 2x SSD 250GB zfs mirror, tam je system a chcem 2x SSD 1TB zfs mirror data. Nemam az take naroky ako max (desiatky terabyte), uplne mi na data staci 1TB.

Kedze mi bolo doporucene rozsirit sata na odroid, tak rozmyslam o niecom takom. Nejake inspiracie su tuna alebo tuna.

Ale stale rozmyslam aj o nejakej novej mini itx doske. Priatelia mi uz nieco nizsie poradili, ale napr. max to ma na moje pomery dost drahe.

[Peter Golis]

Tým SATA multiplikátorom som myslel skôr toto, ľudia to používajú od čias BananaPI. Akurát sú dva typy multiplikátorov. Jeden rovnomerne rozdelí pásmo (a spomalí prenos), a druhý nechá plné pásmo, ale len pre jeden kanál. Ktorý z roho je nevhodný na RAID, to už uhádneš. Nepozeral som na ktorý linkujem, ber to len ako inšpiráciu.

Ak ti to utiahne zdroj, a máš teplom ovládaný vetrák v tom racku, tak je to na tebe. Ja som skôr za riešenie ktoré má aj krabicu, nech to nevyzerá ako klbko telefónnych káblov z čias pred 200 rokmi.

[k3dAR]

no vzdyt prave to ma na druhem "tuna" odkazu

[Peter Golis]

Som rád že si to všimol.

[GeorgeWH]

Tým SATA multiplikátorom som myslel skôr toto, ľudia to používajú od čias BananaPI.

Ty si to mozno objavil vtedy, ale ostatni to uz pouzivali roky pred tym.

[Peter Golis]

Ostatne ja som to ani nikdy nepotreboval. Nies om zástancom klbiek s káblami, takže som si v kľude na podobné veci zariadil Mini PC ktoré sa sa dá zavesiť na vesamount.

[Max]

Mně ten multiplikátor fungoval nestabilně. Po větším zatížení to tuhlo, resp. tuhla komunikace s disky. Vše záleží asi na driverech a k jakému řadiči je to připojený. Já to zkoušel na jedné starší x86 desce a nedopadlo to dobře.
Výkon také bude pěkný pešek. Raději nějakou desku s M.2 PCIe a do toho pak ten 5x sata řadič, co jsem už linkoval.
Zdar Max

[k3dAR]

no uvadi to jako moznost primo wiki hardkernelu pro h2, jsou tam i testy rychlosti...

[Peter Golis]

Tá nestabilita mohla byť aj slabým zdrojom ktorý pri vyššej záťaži nestíhal. Mne tak po cca 10 rokoch vymekol zdroj v Mac Mini (1x DVD, 1x interný NB HDD, 2x USB HDD), zaklepalo mi to hlavičkami a zomrel mi interný disk. Po výmene toho mŕtveho disku mi zomrel aj druhý disk.

Takže ako NAS som to už prestal používať. Nechcelo sa mi zháňať ďalší PATA disk alebo SD2PATA redukciu aj s priemyselnou SD kartou čo prežije viac zápisov.

[k3dAR]

co ASUS P10S-I ? splnuje asi vse co pozadujes, jen nevim jak je na tom s IOMMU, pisou jen ze podporuje VT-d...
- 2x LAN
- 6x SATA
- Intel 1151
- 1x M.2 PCIe/SATA
- 1x PCIe x16
Cena 5000Kc
+ lze prikoupit IPMI modul

btw: ten H2 bude na prodej?

[k3dAR]

zadival sem se jeste na desku a SATA vidim 2x, ale v manualu: 4 by 1 mini-SAS HD Connector
nevim zda kabel na 4x sata je soucast baleni...

[X]

Hm, vypada to dobre, pisou 6xSATA, ale ve skutecnosti je to 2xSATA + 1x"MiniSAS HD"(WTF?). Intel VT-d = IOMMU

[k3dAR]

jj, psal sem to o par minut nad tebou kabel by mel byt tento :) VT-d jasne, ale pokud vim tak pro passthrough jeste zalezi jak jsou IOMMU skupiny rozdelene, nevim praxi s tim nemam

[k3dAR]

ad Mini-SAS pravdepodobne jde o oznaceni konektoru SFF-8643 a v CZ ke koupi treba tady (pokud tedy neni soucas baleni te desky)

[LarryL]

jen nevim jak je na tom s IOMMU

Podle této krátké diskuze se zdá, že v nějaké verzi biosu tam byl problém, ale nová verze biosu to měla vyřešit.

[jojo]

btw: ten H2 bude na prodej?

Sorry, ale to ne. To je momentalne moj cely homelab a hladam nieco podobne vykonnejsie. Ak by odisla v H2 co i len sietovka tak som nahrany (stracam proste vsetko vreatane konektivity (HA sa pre mna nevyplati robit)).

Inak dik za typ na dosku.

[k3dAR]

myslel sem samozrejme az bys mel nahradu, pokud tedy nepujdes tou cestou multiplikatoru

[Max]

Viz: Můj aktuální-nový domácí server
Neznamená to, že si to máš koupit, je to dražší, než asi očekáváš. Každopádně třeba ty chybějící SATA na běžných deskách můžeš vyřešit podobně jako já.
A pak samozřejmě bacha na PCIe, to, že vidíš 16x slot neznamená, že je všech 16 linek zapojeno.
Zdar Max

[JanM]

Doma provozuji asi pět let Dell R210 II (starý, vyřazený za hubičku) a bojím se, bojím, kdy umře

 

• 32 GB RAM, ECC.
• 2x Samsung EVO SSD 860 (1 TB) pro systém i data. XFS, bez raidu, spojené do 2 TB poolu přes LUKS + LVM.
• 1x green 3.5" WDC  2 TB - jednou denně záloha všeho možného z LAN (borg backup) a následně rclone kamsi do cloudu; jinak ten HDD spí.
• spotřeba mezi 25 - 30 W v idle (běžný provoz). Když se rozvášní, tak to jde k 50 - 60 W.
• velikost a hluk může být problém: já jej pověsil vertikálně na zeď ve sklepě, myši si snad nestěžují.
• výkonově mi ten Intel(R) Xeon(R) CPU E3-1220L V2 @ 2.30GHz kupodivu zatím stačí (nezpracovávám žádná multimédia).

Když by kleknul, nejraději bych jej nahradil tímtéž, ale je to přece jen antique záležitost. Vyšší řady PowerEdge už jsou na to mé domácí žvýkání moc žravé a RPi atd. je výkonově o dost zoufalejší.

Uvažoval bych možná nad starým notebookem či tím Supermicrem dle Maxova komentáře.

P.S. Kdysi jsem používal ZFS, ale kvůli výkonu jsem nakonec přešel na XFS. Tehdy na plotnových hdd to byly nebe a dudy.