Dotaz: Jakou sitovku?

[palmik777]

Dobre odpoledne,
mam takovy mensi technicky dotaz:

mam debian lenny + apache2 -

Mam nekolik webu - nejvetsi dva maji navstevnost zhruba 1500 lidi denne (kazdy) jede na nich joomla, vetsinou lide si prectou jen prvni novinku (par radku) a ten den na web uz nejdou.

Maly problem je s forem, kde je standartne online asi 40 lidi, ve spicce okolo 100, narazove 200 (phpbb)

Pak mam zhruba 5 dalsich mini webu (joomla + phpbb forum) - navstevnost nekolik desitek lidi (malo)

Toto vse bych chtel prenest na:

ASUS P6T WS PRO (skt1366, i7, X58, 6x DDR3, 8xSATA2, 2xSAS, RAID, audio 8k,
2GLAN, FW, ATX)
DIMM DDR3 6GB, 1333Mhz, CL9, CORSAIR XMS3 (KIT 3x2GB)
DIMM DDR3 6GB, 1333Mhz, CL9, CORSAIR XMS3 (KIT 3x2GB)
Seagate Cheetah 15K.6 - 146.3GB/15Krpm/SAS/16MB
Seagate Cheetah 15K.6 - 146.3GB/15Krpm/SAS/16MB
ZALMAN ZM-2HC2
ZALMAN ZM-2HC2
DVDRW/RAM Samsung SE-S223Q RETAIL (SATA, Lightscribe,22xDVDÂąR,
16/12xDVDÂąDL,
ASUS EXTREME AH3450/HTP RADEON HD3450 256MB DDR2 DVI HDTV-out PCI-ex2
CHIEFTEC MidT CH-02B-BM-OP bez zdroje,
Arctic Cooling Fan 8025 PWM (80mm)
Arctic Cooling Fan 12025 PWM (120mm)
CPU INTEL Core i7-920 BOX (2.66GHz, 1333MHz)
zdroj Fortron EPSILON 80+ 600W (12cm vent., PFC, SATA, ATX)


Dotaz zni: zadavajici mi rekl, abych tam prihodil misto integrovanych sitovek jeste navic tuto sitovku: http://dobrepc-resellerweb.systemb2b.com/pricelist/item.aspx?PID=C6250090 na ktere to ma vse jet (integrovane se maji v biosu vypnout)

Me se to zda zbytecne (nerknu-li, ze jsem slysel, ze stavajici integrovane jsou dobre) - co si myslite Vy?

Pokud by bylo lepsi poridit tuto novou sitovku, tak nevite jak je na tom s debianem lenny? - nejsem extra znalostne vybaveny, takze nejlepe pro me zastrc a uz nic nemusis delat :D

ps: prosim nekamenujte me za tu sestavu, ja jsem v rom nevinne :D :D :D

Dik za vase nazory.
 

Odpovědi

[pht]

Na dotaz na síťovku je zbytečné popisovat návštěvnost webu. Důležité je jen kolik přes tu síť projde paketů za sekundu, potažmo bajtů za sekundu. Myslím si, že podle Vašeho popisu to není tolik, aby to činilo rozdíl. Zbytečně byste vyhodil 11 tisíc.

[pht]

Ono jak tak koukám na tu sestavu tak se nese v podobném duchu. Deska za 6 klacků, core i7, 12 GB pamětí, které jsou daleko za hranicí optimální cena/výkon... za ty peníze by se poskládaly dva méně megalomanské servery, které by ty weby utáhly daleko líp a robustněji, než tohle monstrum, které si sice hraje na profi sestavu, ale ve výsledku nemá ani záložní zdroj... a ještě by zbylo na pivo.

[frr]

Kdyby ty onboard síťovky byly nějaké Gigabitové od Intelu, asi bych Vám řekl, ať ani nepátráte po zásuvné kartě (ačkoli by se patrně jednalo o "desktop" čipy).

Nicméně ty onboard síťovky jsou od Realteku - při vzpomínce na záhadnou "shnilost" RTL8139C v jednom serveru se hodně šklebím. Počítejte s tím, že ty onboard síťovky jsou levný model, patrně vhodný spíš pro desktopové použití. Ale hlavně bych podtrhl opravdu tu lacinost: síťovky v této kategorii mají typicky malé buffery a neumí efektivně pracovat s interrupty -> může se Vám snadno stát, že narazíte na strop "paketů za vteřinu", a nepomůže Vám ani velký procesorový výkon (protože ten strop je daný spíš latencemi na sběrnicích). Podobně mám dvě špatné zkušenosti se síťovkami Marvell (snad ještě horší - v Linuxu se některé modely koušou).

Do serveru doporučuju aktuálně Intel, nebo pokud je v ceně onboard tak i Broadcom.

Nebo můžete zkusit fungovat pro začátek s těmi onboard síťovkami od Realteku, ono to samozřejmě nějak pojede. Proč obouvat bavoráka do dobrých gum od Pirelli na kvalitních elektronech, když po městě to jezdí i na ojetých gumách noname z druhé ruky na plechových discích... Bude ten server mít reálně Gigabit do internetu? Nebo bude servírovat data nějaké LANce? Pokud ne, asi nemá smysl to nějak moc hrotit - jenom pozor, když pak budete časem ladit nějakou záhadnou pomalost, tak mějte na paměti ty šmejdské onboard síťovky...

Značka Intel mezi síťovkami aktuálně platí za "referenční implementaci". Jedná se o relativně kvalitní zboží. Reálná průchodnost v konkrétním OS možná není za všech okolností úplně 100%, zejména s malými pakety - ale je stále velmi dobrá v porovnání s levnější konkurencí.

Po pravdě řečeno, tomu stroji by slušela klidně 10Gb síťovka. A tady je Intel jednak hrozně drahý, druhak řekněme o 20% méně výkonný než Myricom. Nicméně mám pocit, že 10Gb byste jednak nevyužil, druhak ještě dražší než síťovka je odpovídající port na switchi

Ohledně toho odkazu, co jste poslal: tahle síťovka není metalická, ale <I>optická</I>. Není tam ta optika schválně? Nebude to komunikovat po optickém vedení? Pokud ano, je ta debata o něčem jiném

Pokud potřebujete skutečně metalickou síťovku, dají se od Intelu koupit dvě kategorie: desktopová a serverová. Jednoportové serverové síťovky stojí okolo 2000 Kč, desktopové tuším pod 800 Kč. Pro méně náročné použití je to jedno, pokud Vám jde o maximální průchodnost tak má smysl sáhnout po serverovém modelu. Serverový model od desktopového se liší v podstatě velikostí bufferů a asymetrickým rozdělením mezi RX a TX (resp. orientací této asymetrie), plus možná nějakými managementovými vlastnostmi. Třeba dvě karty na níže uvedených odkazech se liší jenom Eth čipem, plošák je stejný:

http://e-shop.asbis.cz/default.asp?mtc=0&cls=stoitem&stiid=34131
http://e-shop.asbis.cz/default.asp?mtc=0&cls=stoitem&stiid=52202

Trochu nechápu, na co potřebuje webserver tak výkonnou grafiku, ale ono možná nic moc slabšího dneska už nejde koupit... nebo ta mašina bude víceúčelová, pak se to dá taky pochopit

Stejně mi ta mašina přijde procesorově úplně přehnaně nadupaná. Když si vzpomenu, kolik desítek webů kdysi běhalo na nějakém Pentiu II s 256 MB RAM... Proti RAMce nemám vůbec nic, z nedávné doby mám zkušenost, že průchodnost serveru u mnoha typů zátěže visí na IOps použitých disků, a tady se hodí každý gigabajt navíc (na FS cache) - ale mít v tom gamesácký procesor, proboha k čemu... no fakt je, že těch 12 GB RAM se pořídí nejlevněji v provedení pro nový čipset (starší desktopové čipsety třeba ani tolik neuměly), a do toho je třeba osadit generačně odpovídající procesor.

 

[pht]

může se Vám snadno stát, že narazíte na strop "paketů za vteřinu"

IMO je ten strop podstatně výš než dohlédne nějaké servírování webů pro 1000 lidí denně. Navíc to samé se pak dá říct o nějakém onboard diskovém řadiči, který bude dřít podstatně víc.

Já mám zkušenost, že onboard realtek v klidu dává síťový NFS server na giga síti (čeká se jen na ty disky). Navíc kdybych chtěl Intel kartu tak bych neplatil za desku která má dvě onboard síťovky

na co potřebuje webserver tak výkonnou grafiku

Ona není tak výkonná, je to to nejlevnější co de sehnat.

12 GB RAM se pořídí nejlevněji v provedení pro nový čipset

Naposled když jsem se díval tak DDR3 paměti byly podstatně dražší než DDR2. A opravdu nerad bych se pouštěl do diskuse typu že ty DDR3 ten server využije.

mít v tom gamesácký procesor, proboha k čemu

Asi tak, někomu to připadá sexy a neví co s prachama... budiž mu přáno.

[frr]

Jojo. Já si jenom pamatuju, jak ten RTL8139 onboard v konkrétní desce nedal víc jak 3 MBps (=30 Mbps) ve FTP, a to je 100Mb síťovka. Snad jsou ty gigové Realteky lepší.

Ohledně paměti, když máte desku se 4 DIMM sloty pro DDR2, tak do ní stejně narvete za rozumné peníze max. 8 GB, protože 16 GB znamená shánět 4GB DIMMy (dvojnásobná nebo vyšší cena za GB + mizerná dostupnost) a navíc by to ten čipset musel napřed umět (často mívaly maximum 8 GB). Pokud potřebujete víc jak 8 GB, Core I7 může být levnější varianta než Xeon 5000 series.

[pht]

Já si stále myslím, že je zbytečné rvát víc paměti do jednoho stroje, a že lepší službu odvedou dva po osmi gigách než jeden s dvanácti, přičemž finančně to může vyjít velmi podobně.

[frr]

Pokud jde o hostování nějakých virtuálů, tak asi ano, ačkoli kupovat dvakrát skříň se zdrojem, to taky může lézt do peněz.

Pokud jde o samotnou velikost paměti, tak třeba databázi hodně pomůže, když se vejde celá do RAM, nebo má v RAMce aspoň indexy a často selectovaná data. Různí uživatelé mají různě velké databáze. Ne vždy dobře optimalizované, ne vždy je pečlivá optimalizace levnější než těch pár GB RAM navíc. Nemusí to být zrovna mapa ČR, stačí trochu živý webshop s nějakou historií... Distribuovat databázi na dva stroje sice jde, ale pokud se takto má využít "zdvojnásobení" objemu RAMky, není to houska na krámě.

[pht]

PS. co se týče toho realteku, tak jste asi měl smůlu protože separátně dodávané realteky nemají s 100 mbitem vůbec problém. A jelikož ty gigové podporují scatter-gather a checksumování, tak je to úplně v klidu pro většinu použití. Rozdíly mezi síťovkami začnou být patrné až v stotisících pps.

[frr]

Aha, DMA se SG listy, to je zajímavé, dík, zase jsem o něco chytřejší Přiznám se, že zdrojáky jsem nečetl.

S tím 100Mb Realtekem to tehdy byla opravdu smůla - ten problém byl systematický pro danou sérii motherboardů. Když se přidala Intelka do PCI slotu, tak jela jak z praku. Ale měl jsem tehdy reference i od jiných lidí, že na to narazili u RTL8139c na jiných boardech. Podotýkám že se tehdy nejednalo o rozkonfigurovaný duplex nebo tak něco... Možná jsem to nezaznamenal nikde jinde spíš proto, že jsem po tom nekoukal. Většina našich uživatelů neždíme síťovku nadoraz, takže si toho nevšimnou.

[frr]

Jo a až to postavíte, tak se prosím pochlubte, jak chodí Cheetahy na tom SAS HBA od Marvellu (odhaduji to na driver mvsas.ko). Jednak jestli je to kompatibilní, druhak na tom zkuste prohnat "hddtest -2", kolik to udělá IOps v malých transakcích.

 

[palmik777]

Dekuji za reakce, dle meho staci uplne ta co je na desce. Ohledne dotazu na disky - mam stejnou konfiguraci, ktera bezi zhruba pulroku nonstop bez "jakykoliv" chyb (disky ve stripu uuuuuuu).  Drive jsem mel dva desetitisicove raptory, ktere zkoncili po pulroce na smetaku (oba bezplatna vymena za nove ), tak uvidime jak budou drzet dal.

Ohledne prenosu dat - na webu toho protece (nload average) 6000 kBit/s  (ve spicce max okolo 7000-8000) - bohuzel nevim presne co to pro tu sitovku znamena (malo/hodne). Servery by mely byt na optice, ale vic toho nevim (savvy)

Nicmene stroj je planovany na neco jineho kde skutecne vyuziji cely pametovy potencial a porizovat si serverove reseni na podobne konfiguraci by me vyslo draz, nerknu-li, ze tomu nerozumim ani za mak a nechci to riskovat - jeste ze ty stroje nejsou moje, jen s tim pomaham .

ps: hddtest mi aptitude nenasel a na googlu jsem toho nasel vic - pokud poradite jak to nainstalit a co presne chcete zkopirovat, tak neni problem.

[frr]

Nevim jak Raptor, ale Velociraptor má hodně dobré seeky. Takže by mě fakt zajímalo, jak jsou na tom SASové Cheetahy.

6 Mbps na gigabitu by mělo být naprosto v klidu, předpokládám že na webserveru to nebudou samé DNS dotazy :-)

Hddtest je takový můj inhouse bastl:

http://www.fccps.cz/download/adv/frr/hddtest-1.0.tgz

... ano, je potřeba ho zkompilovat ze zdrojáků. Potřebuje tuším ncurses (-devel). Když to spustíte s parametrem -2, bude provádět test na náhodné seeky. Zajímá mě číslo Tps, které to bude za chodu zobrazovat.

[palmik777]

 

  GNU nano 2.0.7                                  File: /etc/fstab                                                                          

# /etc/fstab: static file system information.
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
proc            /proc           proc    defaults        0       0
/dev/sda1       /               ext3    errors=remount-ro 0       1
/dev/sda5       none            swap    sw              0       0
 

 

zkusil jsem tedy:  ./hddtest -d /dev/sda1 --test2

tps jsem videl minimum okolo 60ti (jen na chvili, 140-150 ve vetsine pripadu - to je moc velke? Jako ze to je spatne?

Je to delane za chodu, ale je rano, takze tam neni moc velky provoz

 

[frr]

Doporučuju spíš na celý disk, než na partition. Tedy /dev/sda, spíš než /dev/sda1. Ať je to zarovnané na mocninu dvou - teda ne že by na tom extra záleželo... - a ať se bavíte s celým diskem, ne s nějakým logickým oddílem. Fakt je, že s fyzickým diskem se bavíte teprve po přidání argumentu -e , tj. direct mode (vynechá cache blokové vrstvy). Nebojte se toho, ten test je by default nedestruktivní (pokud nepřidáte argument -w).

Jinak 140-150 IOps je OK, něco takového bych od Cheetahu čekal. Pro informaci, testujete čtení 64k bloků, které jsou rozházené po celé ploše disku (seek positions generuje náhodný generátor).

Pokud byste ten disk někdy dostal do ruky bez užitečných dat, o která byste mohl přijít, zkuste ho otestovat na zápis. Podle mého dostanete nějakých 170 IOps v základním nastavení HDDtestu (64 kB transakce).

No a co tak koukám do poznámek, tak Velociraptor mi dával za stejných okolností 240 IOps. S transakcí o velikosti 4 kB 270 IOps. A když jsem pošteloval IO scheduler, tak třeba až 600 IOps - ale to už byl trochu extrémní případ, nepříliš použitený (vysoká latence čtecích requestů). Chci říct že podle mého Cheetahy tak dobře neškálují ani při optimálním řazení transakcí. Kupodivu Velociraptor má údajně 10k RPM, cheetah má 15k.

http://www.fccps.cz/download/adv/frr/hdd/hdd.html

[AraxoN]

Fakt to závisí od objemu dát, ktoré tam behajú - ak môžeš na ten starý server nahodiť iftop, tak to urob a pozri si koľko toho tam chodí v špičke. Ak to je priemerne do 10 Mbit/s (a to by som sa veľmi divil keby to bolo viac ako 1 Mbit/s, ak tam nemáš videá na stiahnutie, maily, alebo herný server), tak nejakú sieťovku absolútne nerieš. To zvládnu aj integrované a ani sa pri tom nezapotia - máme tak pár serverov v lokálnej sieti.