Dotaz: Má cenu kupovat starší server?

[Standa]

Pro zálohování a sdílení souborů v malé firmě jsem chtěl pořídit nějaké NAS řešení. Nicméně cena lepších modelů atakuje hranici 20 tisíc bez disků a to se mi zdá poměrně dost. Vzhledem k malým nárokům jsem začal uvažovat o nějakém starším PC s linuxem, který by po nastavení nejspíše zastal službu stejně dobře. Momentálně se mi tu neválí volné železo a tak zvažuji koupi staršího serveru. V serverech se moc nevyznám, zdědil jsem jediný a ten dávno dosloužil a tak by mě zajímalo zda se oplatí a má cenu kupovat starší železo podobné tomuto:

• Sun SunFire X4200 M2 SAS/SATA, 2x 2-Core AMD Opteron 2222 3.0 GHz, 16 GB
• Sun SunFire X4140 SAS/SATA, 2x 4-Core AMD Opteron 2387 2.8 GHz, 64 GB
• Server DELL PE 1950 Rack, 2x Xeon Quad Core E5345

Podle všeho by nejen snadno zvládlo požadavky, ale při větší paměti by byly vhodným vývojovým serverem a díky řešení jako FreeNAS by zastaly mnohem více než současné požadavky. Pouze se bojím o rychlost síťových a diskových operací, zvlášť, pokud bych chtěl v síti zálohovat nejen data, ale občasně i celé disky. Nebo se bojím zbytečně? Případně jaký server ze starších kousků byste doporučili pro FreeNAS do malé firmy? Případně kterou značku preferovat?

Díky za každý tip.

---

---

Odpovědi

[Petr Tomášek]

Doporučuji porovnat spotřebu s nějakým co nejmenším současným úsporným řešením (pokud nechceš ECC, tak třeba tohle či tohle; pokud chceš ECC, tak to bude složitější). Možná zjistíš, že se starý server nevyplatí.

Gigabit zvládne snad cokoli.

[R]

Porovnavat s najmensim riesenim je nezmysel, pretoze ti vyjde, ze krabicka zo supermarketu s jednym diskom a cinskym napajacim adapterom vyjde lacnejsie. Ak to ma byt spolahlive, tak server s dvoma zdrojmi, ECC a RAIDom.

P.S. PE1950 su dobre servery, ale nie na storage, pretoze maju len dve pozicie na disky.

[Petr Tomášek]

Ak to ma byt spolahlive, tak server s dvoma zdrojmi

Toť otázka. Ono pro malou firmu může úplně stačit mít desku napájenou z notebookového adapteru a mít náhradní adapter(y) v šuplíku pro případ nouze.

ECC

ECC má kdeco, třeba i APU 2 od PC Engines.

RAIDom.

Já bych naopak doporučoval softwarový RAID a na hardwarové sračky se vykašlat.

[R]

APU 2 ma sice 9 pamatovych cipov, ale ECC nefunguje: http://pcengines.info/forums/?page=post&id=E35B5D34-262B-480E-9887-F7F2A292E02F

Linuxovy SW RAID1 funguje (a aj ho pouzivame), ale SW RAID5 alebo 6 by som sa neodvazil nasadit.

[Jendа]

ale SW RAID5 alebo 6 by som sa neodvazil nasadit

Proč? (já mám naopak zážitky s různými HW RAIDy, od věcí jako „neumíme různě velké disky“ přes „neumíme disky přes 2 TB“ a „něco tam hnije a neexistuje žádný způsob jako to debugovat“ po „řadič shořel, přendal jsem disky do jiného počítače a normálně by stačilo udělat mdadm --assemble --scan, ale vy máte HW RAID, takže máte smůlu“)

[Marek Stopka]

A jak u SW RAIDu řešíš zálohování cache?

[Jendа]

Nijak, nemám writeback cache.

[Kit]

Záleží na tom, jaké služby a výkony si od toho slibuješ. Pro malou firmu vystačíš se dvěma NASy od Synology za pár korun (druhý kvůli replikaci). K tomu jeden NAS pro archivaci a máš vystaráno.

Pro náročnější řešení můžeš zkusit microserver. Za 20 kKč koupíš dva i s disky.

[Standa]

Můžeš doporučit nějaký kousek? Měl jsem v rukou jen 2, oba dosti levné, takže výkon mizerný a rychlost v síti taktéž. Jakmile 1PC začalo stahovat/uploadovat, druhé už mělo prodlevy i na výpis adresářů natož z něj pracovat. Bojím se, abych s NAS nezůstal někde u 10-20MB/s, přestože krabice bude plná krásných grafik jak to umí pomalu i venčit psa :)

[Kit]

Už tady byl mnohokrát zmíněn HP MicroServer Gen8. Levný, kompaktní, paměti ECC, 4×SATA. Ten by nestačil?

[Standa]

Už jsem si pro něj chtěl skočit, ale nacházím na něj dosti rozporuplné reakce majitelů. Sice většina jásá a chválí, ale zároveň si spousta majitelů stěžuje na slabší výkon. Tedy pokud problémy s výkonem cítí jednotlivci, nedovedu si představit co udělá pokud kromě sdílení souborů budu potřebovat zálohovat data a provozovat jednoduché webové aplikace. Ideálně bych pak potřeboval rozjet doménový řadič, ale nevím, zda by ho to nezabilo už úplně. Bohužel reálné ukázky, rychlosti sdílení a chování v zátěži jsem nenašel a tak se těžko odhaduje co je "slabší výkon". Nakonec, proč ho ještě nemám, je i aktuálně vycházející inovovaný typ G10, údajně skladem už u několika prodejců. Za pár stovek navíc člověk získá modernizované vnitřnosti a hlavně o 4GB RAM navíc, což už bude cítit nebo alespoň bude místo pro virtuál: http://www.b2c.cz/ProductDetail.aspx?eid=529662

[Kit]

Vždycky budou uživatelé, kteří nebudou spokojeni a bohužel bývají víc vidět než ti spokojení. Je to velmi levné, ale už serverové železo. Zákonitě musí být slabší, než servery za desítky či stovky tisíc.

Pokud chceš jen sdílet soubory, zálohovat data, provozovat webové aplikace a doménový řadič, tak ten výkon ti bude bohatě stačit. Případně můžeš přikoupit další server a služby rozdělit.

Jen ten web bych raději vystěhoval do nějakého cloudu, stejně jako e-mailové služby.

G10 vypadá sice zajímavě, ale všude je s popisky Gen8, což je mi podezřelé. To bych raději z Gen8 vytáhl původní RAM a nacpal tam 2×8 GB.

[lertimir]

Primárně je nutné si rozmyslet, co potřebuješ. Co to znamená slabší výkon?? Co od toho chtěli oni a co budeš chtit ty? Rozmyslet si potřebnou špičkovou zátěž a jak ji vyřešit. Podle mne jsou v současnosti dva hlavní zabijáci.

1. Diskové operace: Normální SATA rotační disk udělá cca 100 IOPS. S tím nic neuděláš, protože musíš počkat než se disk otočí, aby měl hlavy nad datami. Takže pokud budeš mít zátěž, která potřebuje víc (třeba několik uživatelů synchronizujících malé soubory, backupy) tak budou čekat. Servery s SAS na 15 000 otáčkách to trochu zrychlily, ale nyní prokud by to byl problém tak jedině SSD
2. Výkon CPU: Pokud máš debilni webovou apku, která na Microserveru bude počítat stránku půl vteřiny (včetně IO disku), tak pokud je uživatelů tolik, že mají 3 požadavky za vteřinu musejí počkat. Pak má smysl výkonnější CPU. Nějaký doménový řadič, openLDAP, DNS, DHCP, RADIUS a podobné přímé binárky jsou v malých objemech velmi rychlé a netřeba se jich bát.

A je na tobě si zanalyzovat jaké aplikace potřebuješ běžet. Samozřejmě pokud budeš chtít ZFS tak 1GB paměti na 1TB disku a 5G minimum, jinak to bude výkonově znát.

PS. Asi jsem staromilec, ale připadá mi současný stav, kdy každy CMS systém znovu a znovu počítá stránku při požadavku na zobrazení jako na hlavu. Misto toho, aby se po editaci přegenerovaly statické stránky a ty dodávaly. Málo aplikací potřebuje skutečně dynamická data.

[Kit]

PS. Asi jsem staromilec, ale připadá mi současný stav, kdy každy CMS systém znovu a znovu počítá stránku při požadavku na zobrazení jako na hlavu. Misto toho, aby se po editaci přegenerovaly statické stránky a ty dodávaly. Málo aplikací potřebuje skutečně dynamická data.

Generování statických stránek je jednou z cest, jak je udělat rychlé a bezpečné. Mezistupněm je dynamické generování s využitím cache na reverzní proxy, které odvede podobnou práci.

A pak jsou taky tragédi, kteří se snaží dělat cache přímo v PHP přes nějaké Memcache apod.

[lertimir]

Mezistupněm je dynamické generování s využitím cache na reverzní proxy, které odvede podobnou práci.

A pak jsou taky tragédi, kteří se snaží dělat cache přímo v PHP přes nějaké Memcache apod.

I v tomto případě se reverzní cache musí zeptat serveru (CMS) jestli nemá aktuální data, pokud jí server řekne, že aktuální data má, tak cache o data požádá a server počítá. Co na tom, že článek je týden starý.

[Kit]

Přesunul jsem tuto polemiku do samostatného dotazu Používání cache na HTTP serverech.

[Ondro]

Odporucal by som nieco trochu novsie. Napriklad

https://www.servershop24.de/en/server/hp/dl-series/hp-proliant-dl380-g7-server-2x-xeon-x5650-six-core-2-66-ghz-16-gb-ram-2x-146-gb-sas/a-115533/

https://www.servershop24.de/en/server/dell/poweredge-r-series/dell-poweredge-r710-server-2x-xeon-x5650-six-core-2-66-ghz-16-gb-ram-2x-2000-gb-sas-3-5/a-115970/

[Standa]

To je celkem podobné, co přesně je na nich lepšího? Nebo můžeš doporučit určité řady/funkce co sledovat?

[dustin]

Pokud chceš minimalizovat náklady a držet rozumnou dostupnost při poruše, doporučoval bych disky vytáhnout do samostatné skříně s JBOD 3,5" hotplug SAS2 šuplíky. Na server pak lze použít cokoliv spolehlivého (mám výborné zkušenosti i s velice tichými pracovními stanicemi Dell Precision Txxxx za pár tisíc, nebo nějaký 2U Dell či HP), strčit do toho 8 nebo 16portový LSI řadič na externí SFF-8088 a jede se. Metrové kabely SFF-8088 stojí pár stovek. Při případné poruše serveru použiješ dočasně jakékoliv výkonnější PC, do kterého jenom přehodíš ten řadič, nabootuješ a jede se dál, než zařídíš nový/opravený server. Jako řadič mám výborné zkušenosti s LSI 9201-16e, můžeš si rovnou koupit dva nebo čtyři (druhou sadu do skladu pro případnou nepravděpodobnou poruchu).

Na server třeba ten FreeNAS se ZFS, aby šlo snadno přidávat disky (i SSD). Pokud to potřebuješ dát do racku, na nerackový "server" dobře poslouží kvalitní teleskopické vyjížděcí poličky, které stojí v ČR cca litr nové a unesou přes 30kg v plném výsuvu.

Pro offline zálohy si vyčleníš několik pozic v diskové skříni, kam budeš synchronizovat přinesené disky přes zfs send/receive a disky si pak vytáhneš a odneseš pryč - nejlépe alespoň dvě sady.

Disková skříň je jenom jedna, tudíž by byla dobrá s dvojitým zdrojem (použitá z ebaye, je to hlavně jenom plech), nebo naopak úplně obyčejnou s normálním kvalitním ATX zdrojem, který při poruše snadno vyměníš za jiný. Dá se udělat i ze starých PC skříní (dělal jsem si 24x hotplug uvnitř + 4x hotplug šuplík + lepší ATX zdroj) ale to už je spíš jen pro nadšence, časově se to nevyplatí. Lepší je koupit např. JBOD Supermicro, + free shipping po USA a dopravit obvykle podstatně levněji přes Shipito.com (jde o to získat od dopravce papíry pro DPH/pidiclo, abys to mohl dát firmě do nákladů + odpočet DPH, což Global Shipping Program od ebaye moc neumí).

[Jendа]

Pokud chceš minimalizovat náklady a držet rozumnou dostupnost při poruše [...] SAS

WTF

SAS = dražší a hůře dostupné disky. SAS = v případě selhání krabice nemůžeš disk zapojit do libovolného jiného počítače.

[dustin]

?? Do SAS řadiče samozřejmě připojíš i normální SATA disky. V naší bedně máme cca 20xSATA (včetně SATA SSD) a 5x starší 15k SASy. Vše ke dvěma 16portovým LSI řadičům viz uvedený link. Disková bedna řadič neobsahuje, do libovolného jiného kompu s rozumnými sloty se přehodí jedna či dvě karty PCI-e x8, zastrčíš kabely (každý připojuje 4 disky bez expanderu), nastavíš boot v biosu řadiče na příslušný disk a jedeš dál. Ještě univerzálnější je dát ty boot disky (SATA) přímo do kompu na jeho interní řadič, protože některé biosy mají s biosy LSI karet problém a nechtějí pak z něj bootovat. Už jsem to do pár kompů takto přesouval (pro otestování failoveru).

[dustin]

Některé ty SATA disky jsou 6TB, osmičky jsem zatím nezkoušel, takže ten řadič zvládá i moderní disky.

[Jendа]

Aha, takže SAS skříň a do ní koupit SATA disky. Jo, to by šlo.

[dustin]

Základním důvodem je dostupnost víceportového JBOD řadiče. Čistě pro SATA skoro nic neexistuje (a je relativně drahé) a nemá externí konektory, zatímco pro SAS je jich plný ebay za pár šupů, navíc s výbornými ovladači v linuxu.

[Marek Stopka]

SAS = dražší a hůře dostupné disky. SAS = v případě selhání krabice nemůžeš disk zapojit do libovolného jiného počítače.

Jenom škoda že je SAS kompatibilní se SATA...

[Petr Tomášek]

Až na to že není. (Nic na tom nemění, že většina SAS řadičů umí i SATA, ale jako protokoly jsou to úplně odlišné potvory - ten jeden je odvozený ze SCSI a ten druhý z IDE, respektive ATA. I linková vrstva má odlišnosti...)

[Marek Stopka]

Až na to že je, běž se přesvědčit třeba k výrobci adaptérů...

[Petr Tomášek]

Až na to, že ne: https://en.wikipedia.org/wiki/Serial_attached_SCSI#Comparison_with_SATA

[dustin]

Zmiňovavé SAS adaptéry standardně umí SATA, rovněž SAS konektor do SATA disku pasuje (opačně ne). A o to tu jde.

[Petr Tomášek]

To je ale na hony vzdálenné od toho, že by SAS a SATA byly kompatibilní protokoly. To je stejná blbost jako trvdit, že IPv4 a IPv6 jsou kompatibilní (i když jdou provozovat simultánně na jedné lince).

[dustin]

Samozřejmě, že protokoly kompatibilní nejsou. To dá rozum, že serial ATA není kompatibilní se serial SCSI. Podstatné je, že běžně používané SAS řadiče umí i SATA disky (ještě jsem se nesetkal s takovým, který by to neuměl).

[Petr Tomášek]

A číst tě ve škole nenaučili, žejo?

Goto #20 „Nic na tom nemění, že většina SAS řadičů umí i SATA, ale jako protokoly jsou to úplně odlišné potvory“

[Marek Stopka]

Víš ty co chytrolíne? Bež si raději přečíst specifikaci...

[Petr Tomášek]

Očividně tady odkazuješ něco, co jsi sám nečetl. Nebo nechápeš význam slova "kompatibilní"...

[Standa]

Já úplně moc nemusím JBOD. Přijde mi vhodnější si RAID0, RAID1 či případně RAID5 (jiné jsem nikdy neměl) udělat ručně a více-méně si to řídit sám.

2xdisk RAID0 pro data ke kterým se bude neustále přistupovat a chci max. rychlost. Jde mi jen o rychlost a vůbec se nebojím ztráty dat, protože budou zálohována, resp. sem budou data vystavena k neustálému čtení. Pokud se jeden z disků pokazí, na chvíli to nahodím záložním řešením a druhý den budou nové disky v serveru. RAID0 je sice nejhorší z pohledu bezpečí, ale ta rychlost je opojná :) Vzhledem k malému objemu dat, řádově jednotky až desítky GB uvažuji o 2 menších SSD discích

2xdisk RAID1 pro zálohy počítačů, záloha dat apod., disky budou většinu času odpočívat. Pro zálohy mi stačí klasické disky, kapacita minimálně 1TB. Zde bude i primární úložiště dat z RAID0, aby až to spadne, bylo kam sáhnout (jinak ještě budou na externím disku v jiné budově)

1x(2x)disk pro "moje hraní", virtuál a lokálně běžící aplikace, intranet apod., protože s aplikacemi pracuje jen pár lidí, rychlost už nebude tak kritická a nejspíše by postačil svižnější klasický disk se zálohou do dříve zmíněného RAID1 nebo i toto pustím rovnou v RAID1 módu.

[Petr Tomášek]

2xdisk RAID0 pro data ke kterým se bude neustále přistupovat a chci max. rychlost.

A v čem je problém použít JBOD na řadiči a softwarový RAID-0 v linuxu?

[dustin]

JBOD řadič ti právě disky nabídne napřímo, bez pole. Raidy si uděláš softwarové dle potřeby.

JBOD řadiče obvykle nemají baterku a jsou obecně trošku levnější (jednodušší čip i firmware). Také jim dávám přednost před HW raidem.

[Standa]

Díky oběma, evidentně musím nastudovat a asi je to to cesta.

[frr]

Pokud HW RAID, tak není špatné mít RAID kompatibilní s diskovým kastlíkem i co do failure LEDek. Je to už pár let, co jsem toto naposledy řešil... Areca má tuším dodnes vyvedené diskrétní výstupy pro jednotlivé failure LEDky, ještě navíc k SGPIO (SGPIO se týká RAIDů se čtyřmi a více kanály a multi-lane výstupem). Kromě toho drží Areca už snad 15 let zpětnou kompatibilitu firmwarů s formátem dat na discích. Pokud se rozhodnete svěřit data HW RAIDu, tak Areca má snad delší historii zpětné kompatibility než Adaptec nebo LSI. Kromě toho má poměrně komfortní a bohatě konfigurovatelný firmware.

Tenhle kastlík má failure LEDky vyvedené na jednotlivé piny:

http://www.chieftec.eu/de/zubeh%C3%B6r/sas-sata-backplanes/sst-3141sas.html

S Arecou vyzkoušeno.

Jinak tuším některé backplany SuperMicro (SAS) mívaly rozumnou implementaci SGPIO.

Jako CPU pro malý server vůbec nemusí být špatnou volbou nějaký quad-core BayTrail nebo Braswell. Varianty s podporou ECC jsou "průmyslové", potažmo boardy jsou dost exotické (obskurní, sázka do loterie). Osobně bych minimálně na "levné otestování" sáhl po něčem z "UltraDurable" řady od výrobce Gigabyte (bez ECC). GA-J1900 už tuším není k mání, ale prodává se GA-N3150 series. Bohužel to má onboard jenom dva SATA porty. Ale na desce je v některých variantách PCI-e slot. Vejde se do toho myslím 8 GB RAM.

Nevím jak ostatním, ale mně občas zbyde nějaký vyřazený miditower. Skříň za nula peněz. Případně dát nový zdroj, boardík, kastlíky, nějaké disky a může se testovat. Osobně se vždycky ještě pomazlím s chlazením (kudy půjde průvan a tak). S tímhle procíkem není problém, aby větrák nebyl za provozu slyšet ve švitoření pevných disků. A přestože boary s BayTrailem / Braswellem mívají pasiv, přidávám nad něj tichý větrák pro lepší pocit. (A tuším jsem posledně taky přepastoval ten pasiv na CPU, původní šedá žvejkačka mi přišla zbytečně tlustá.)

Možná víc než výkon CPU a desítky GB RAM je důležité podívat se na konfiguraci /proc/sys/vm/dirty_* , mountovat datové oddíly s "-o noatime", volba FS a další podobné ladící finesy. Ono k čemu jsou Vám gigabajty RAM, když Linux nabufferuje pár desítek MB a na disky generuje zápisové transakce i při čistém čtení...

Co je malá firma? Opravdu vygeneruje tolik trafficu na zálohách, že na to točivé SATA disky nestačí? Záleží samozřejmě čím se firma zabývá.

Mě nedávno opakovaně překvapil Debian (8/9) na GA-J1900 s EXT4 na discích tuším WD RE4 black co jsem našel v šuplíku... jak rychle nabootuje (systemd) a jak se za jízdy procesor fláká. Pokud máte pod zátěží na procesoru jedno jádro vytížené na 10%, tak procesor není úzkým hrdlem.

[dustin]

Např. tenhle Dell R720 128GB vypadá velice slušně, dva zdroje. Po odečtení německého DPH vyjde na 21tis, je kousek za hranicemi u dálnice, dá se pro něj klidně zajet. Sice žere znatelně víc než microserver, ale výkonu bohatě pro menší firmu na cokoliv včetně libovolného počtu virtuálů (128GB + 16 dalších volných slotů, protože má osazené drahé 16GB DIMMy PC3-14900R). Chlápek toho prodává spoustu, očividně se tím živí.