Dotaz: Par rad pre zacinajuceho serveristu... .

[Pista]

Zdravim siroku linux komunitu.

Chcem poprosit o niekolko cennych rad od tunajsich profesionalov na temu: [sprava vlastneho serveru].

O aky server by malo ist? Nuz predstavte si nieco ako "ulozto.sk" alebo  "rapidshare.com". Iste viete o com hovorim. Nejake zaklady mam ale na toto budem potrebovat nieco viac nez len to s cim som sa hral doteraz.

NEMAM MOZNOST SERVER PREINSTALOVAVAT KEDY SA MI ZACHCE. PRETO MUSI VSETKO KLAPNUT HNED PO PRVEJ INSTALACII A PRETO PROSIM O NEJAKE REALNE SKUSENOSTI A POSTREHY.

Otazky:

1/ Aky suborovy system zvolit na stroj kde budu 4x 1.5 TB disky??? Docital som sa, ze reiserfs je rychly a "zurnalovaci" takze nehrozi ziaden problem ani po vypadku prudu. Ext3 takisto ale je pomalsi a udajne ma nejake problemy so subormi na tak obrovskej particii??? Mozte mi k tomu nieco poradit?

2/ APACHE. Predstavte si 4000 a viac uzivatelov, pristupujucich k vasmu serveru v rovnaky cas. Nejaky napad ako nato aby sa mi server nezosypal??? Uplne idealne by bolo, keby som mohol na urcitej hranici zataze presmerovat zaujemcov na stranku s infom, ze server je busy - nech to skusia neskor. Ale nedari sa mi najist ziadnu takuto moznost priamo v apaci. Ako by ste to riesili?

3/ Skusenosti s grsecurity patchom pre kernel. Mali ste uz skusenosti, ze grsecurity bol dovodom pre nejaky problem vo vykone servera alebo niektorych demonov? Popripade, ci je nejaky dovod, preco by som grsec. radsej nemal aplikovat... .?

4/ Najvhodnejsia distribucia pre tento ucel? :o)  Svojho favorita samozrejme mam ale necham sa motivovat.

 

Vdaka velmi za kazdu odpoved.

Pista.

Odpovědi

[lieko]

2. osobne si myslim ze toto sa neda riesit ak sa tvoja konfiguracia sklada iba z jedneho servera. Vedel by som si predstavit ze mas load balancer a ten by vedel vyhodnotit situaciu ked su vsetky nody vytazene a zobrazit hlasku Server busy.

Ak ma ist o nieco na styl rapidshare poobzeral by som sa po lighttpd

 

[Dalibor Smolík]

Tak tohle je velmi široké téma  a otázky by měly asi padat postupně .. Určitě na tom serveru bude nějaký typ RAIDu (4 disky),  reiserfs je rychlý, ale nevím, jak se dál vyvíjí, chce to zvážit. Na méně frekventovaný server bych dal EXT3, ale sem asi ne. Apache by se sesypat neměl. Záleží také na tom, jaké aplikace na serveru poběží. Otázka distribuce: jelikož jsem debianista, tak nic jiného bych asi neporadil , rozhodně stable verzi (Lenny).  V podstatě lze použít distribuci,  na kterou jste zvyklý.

[Pista]

Ak nie Reiserfs a ani Ext3 ake alternativy este pripadaju v uvah?

K tomu Apacu. Nepovedal som tak celu pravdu. Uz jeden server s takymto urcenim som mal. A ten Apache to jednoducho nezvladal. Problem: Prilis vela connectov = prilis vela preforkov = prilis vela procesov = CPU v haaaji = apac v haaaaji = server v haaaaji. Nedalo sa nan ani na-sshackovat.

 

[wolf09]

Jeste muzete zkusit xfs.

[Pista]

Hmm,

To je prave to, co nechcem. Skusat.

Najradsej by som bol, keby sem niekto prisiel a povedal "Jednoznacne XFS. Pouzivam/al som ho xx-rokov bez najmensich problemov..."

 

[l4m4]

Není problém, aby někdo přišel a toto řekl. Ohledně kteréhokoli navrženého fs. Ani není problém, aby někdo přišel, a na základně vlastních zkušeností týž fs poplival. Cokoli si přeješ...

[frEon]

Tech disku bude potreba ponekud vic...

[pupu]

4k soucasnych spojeni? To uz IMHO neni prace pro jeden server. Rozhodne je spatne varianta 'nemam moznost server preinstalovavat'. V takovemto prostredi je temer nezbytne mit nejake reseni rozkladajici zatez, schopne za behu pridavat a ubirat  servery z nejakeho poolu. Pokud chces jit cestou 'nejak vytunim jeden server a ono to nejak pujde'... budiz, ale pak si udrzuj pratelske vztahy s nejakym hodne mocnym bozstvem. To co popisujes IMHO neni enterprise. Mozna jsem to ale spatne pochopil...

[Pista]

Dobre. To cislo je troska "nadsadene" z dovodu aby som poukazal nato co sposobuje vsetky moje problemy. Tych uzivatelov samozrejme nie je 4000. Ale je ich dost nato aby mi to sustavne zahlcovalo server. Preto potrebujem nejake riesenie. Aby sme sa chapali - MNE NEJDE OTO OBSLUZIT VSETKYCH ZAUJEMCOV. Mne ide oto obsluzit vsetkych ktorych mozem a ostatnym dat vediet, ze momentalne nemozem )) Chapame sa dufam.

Mensie moje smerovanie:

Na serveri som pouzival RedHat-a, ktory mal standardne nastavenu konfiguraciu apaca tak, ze co request = jeden httpd proces. Netrvalo mi dlho a zistil som, ze ak uzivatelia pustia download managera, ktory je taaaak blby, ze nevie vyhodnotit odpoved zo servera typu 404 a stale spamuje poziadavky o download, tak onedlho server pada s asi 600 vytvorenymi procesmi httpd a vsetko ide do prd... .

Ciastocne mi pomohlo zapnut na Apacovi volbu KeepAlive, ktory na komunikaciu k ucastnikovi pouzije len jedno spojenie. Ale aj tak je to strata procesoroveho casu, ked server musi 120x za minutu odpovedat sprostemu klientovi, ze subor neexistuje... . Nemyslite?

 

[pupu]

Tak zrovna tohle bych asi resil trochu jinak. Pokud narazim na takovyhle problem, zkusim nainstalovat nejaky Apachovsky modul - rychle Googleni vyhodilo treba mod_cband, pripadne pro 1.3 mod_throttle.  Mimochodem, kdysi jsem narazil na podobny problem, kdyz jsem delal server, na kterem se poprve oficialne zverejnovaly seznamy agentu StB - byly tam velke soubory a zajem byl ohromny, takze jsme velmi rychle narazili na tehdy(?) natvrdo zakompilovany limit na pocet soucasnych spojeni. Cislo se muselo prepsat a cely balik rekompilovat. Neni tohle nahodou neco podobneho?

[Pista]

Bojim sa, ze je.

Neznasam, ked musim nieco "komplikovat" )

[Max]

Buď jsem začátečník a hraju si, nebo jsem profík a dělám enterprise řešení. Začátečník enterprise řešení nezvládne a pokud ano, rozhodně né v horizontu několika měsíců .
Navíc i kdyby se nějakým zázrakem stalo, že by to začátečník v nějakém rychlém čase sesmolil, tak by to bylo jen díky radám, návodům apod. věcem a v případě nějakého problému, který by vyvstal za chodu, by ho neuměl včas vyřešit.
Z toho, co jsem pochopil, by jsi chtěl řešení směřující k enterprise (už jen ta zátěž serveru bude zajímavá).Takže asi tak

Ale aby jsi neřekl,tak pokud by jsi chtěl dlouhou podporu v podobě bezpečnostních záplat, tak bych asi sáhl po CentOS / xfs(pokud ho má) / Apache.
Pokud ti nezáleží na tak dlouhé podpoře, tak bych šel do debianu a reiserfs. Samozřejmě se bavíme o 64bit distribucích.
Takto velkou zátěž bych asi nenechával na jednom serveru. Spíš bych doporučoval dva serveříky, s dostatečně velkými poly. Řešil rovnoměrnou zátěž serverů apod.
Zdar Max

[oron]

tusim v nocom centos 5.3 sa da zapnut uz aj ext4 ....

[Max]

Včera jsem ho instaloval, ale nevšiml jsem si. Možné to je. Ale rozhodně nedoporučuji.
Zdar Max

[Ondar]

Nechceš-li experimentovat na produkčním stroji, neexperimentuj. Šel bych do RHEL-5 a ext3 a za rok bych to překlopil na ext4 a máš vystaráno.

[Pista]

Z toho co som zatial precital na nete tak ext3 sa mi pre takto velke particie javy ako najnepouzitelnejsie. Hlavne ked som videl tie testy rychlosti narabanim so subormi. Tak ext3 bolo niekde na chvoste.

V sucastnosti sa uz rozhodujem medzi JFS vs. XFS.

JFS ma minimalne naroky na CPU a je len o malinko pomalsi od XFS. Asi siahnem teda po JFS.

[gtz]

Zdravím ,

 šel bych do sitribuce RHEL-5 s podporou XFS . XFS je rychlé celkem i spolehlivé , provozovali jsme na něm NAS pole a bylo jich i více a největší naše pole bylo 24 x 750 GB  s 2x Opterony ( 5U RACK ) , spolehlivost celkem slušná i výkon , na starších strojích běží stále nemocnice zde u nás v Brně ( 3 roky bez výpadku na tehdejším systému 24 x 500 GB ) , sice jsem z tohoto již vypadl , ale každopádně R5 na nějakém HW řadiči , asi Arecca , ta má i svoje cache i CPU a zvládne celkem slušné datové toky. JFS nevím , ale výběr mezi JFS a XFS je asi podobný , spíče bych se i podíval na nástroje , které se zabývají případnou obnovou dat z Raidu. Na takovou zátěž Ext3 ani ReiserFS nejsou vhodné.

[Max]

Být tebou, myslel bych na schopnosti nástrojů těchto filesystémů . Předpovídej pád raidu, případné rozbití fs apod.
Je sice pěkné mít třeba nejvýkonnější fs, ale k čemu ti to je, když s ním při pádu nic nezmůžeš, že.
Můžeš namítnout třeba obnovu ze zálohy, ale co je lepšé? Obnovovat zálohu, nebo jeden příkaz v bashi :-/
Nevím, jak si natom v dnešní době stojí XFS/JFS v těchto věcech, ale bral bych to v potaz
Zdar Max

[Pista]

Hmm. Vdaka za dalsieho chrobaka do hlavy.

Asi si spravim nejaky maly testik v ktorom nasimulujem niektore krachy systemu. Uvidim.

 

[Jendа]

1) Já bych tam ext3 klidně dal, časem můžeš přejít na ext4 (až bude dostatečně stabilní)

2) Když v konfiguráku poladíš maximální počet dětí (MaxClients, případně ThreadsPerChild, pokud používáš mpm worker), bude Apache po vyčerpání tohoto počtu vracet HTTP 500. Jinak bych zkusil Lighttpd, je single-thread a používá ho třeba i Youtube, které má jistě podobnou zátěž, jako budeš mít ty

4) Debian rul...ne, vyber si tu, se kterou máš zkušenosti.

[Pista]

Bomba. Konecne nieco konstruktivne!

Vdaka moc.

[Jendа]

Aha... Tak teď jsem to zkusil a Apache po vyčerpání limitu "jenom" neodpoví. To je divné, jako kdybych tu 500 po vyčerpání někde viděl... No nic, zkus to mod_bw, viz /usr/share/doc/libapache2-mod-bw/mod_bw.txt.gz, kapitola 3.8.

Any connection over Max, will get a 503 Service Temporarily Unavailable.

[darken]

tak ja by som ti poradil ako suborovy system zfs , co sa tyka kapacity, a spolalivosti, tak ma v dnesnom ponimani nevycerpatelne limity, a spolalivost je tusim zarucena na 99,99999 % co je sakra dost.

Ze vraj nema najlepsi vykon, ale ja som to nejak extra nepostrehol. No napriklad po pripojeni dalsieho discu do raidu automaticky rozdeli zataz.

Medzi dalsie jeho nevyhody, zvykne papat dost ramky, kedze cachuje co sa len da, a jedna dost podstatna, ze riesenie v linuxe, cez fuse , je nespolahlive a nevykonne, takze treba ist cestou , solaris ,alebo BSD.

Osobne by som volil Solaris resp. OpenSolaris. Kedze pri nestihani apachu, sa da spravit krasny load balancer, pripojenim dalsieho servra a spravenim clustra . A tusim, ze z dostupnych rieseni je na tom s bezpecnostou najlepsie.

Inac co sa tyka ardwaru, ak este nemas, tak obzeral by som sa po rieseni co najviac procesorov resp. jadier.

[frEon]

Co me tak k tematu po navatu z hospody napada...

1. je dulezite myslet na to, ze disku budes potrebovat vic.... 4.5 TB (raid5?)stacit moc dlouho nebude. Staci, aby si tam 1000 lidi ulozilo jedno dvd. Navic tyhle velky disky maji docela dlouhej seek.

   Filesystemu nakonec pouzijes vic. Napriklad na tu storage bych pouzil raid5, coz se zase nehodi na databazi (budes pouzivat db, ze?). V tu chvili mas moznost vyberu ruznych filesystemu na ruzne oddily podle pouziti, cehoz bych vyuzil. Na sw raid radsi zapomen.

   XFS bych se pro takove pouziti na storage nebal. Po vypadku proudu (v serverovne malo pravdepodobne, lec stat se to muze) by soubory, ktere byly otevrene pouze pro cteni (ne pro zapis) mely byt nedotcene. SOubory oterene pro zabis by se muzou zkratit na delku 0 bajtu, coz v tvem pripade budou uploadovana data. V pripade jinych filesystemu by jsi mel na disku casti souboru, ktere jsou beztak bezcene, protoze pul nauploadovaneho filmu nebo cast instalacky k nejakemu warezu je stejne vsem k nicemu.
   Ext3 je fs, ktery v beznem pouziti nezklame, hodil bych ji pod system/db. Pokud by jsi pouzil debian a php, tak neni jedno kam ukladas sessions.

2. S apachem by nemel byt problem. Mozna by stalo za to se poohlednout po jinem softwaru na servirovani vetsich statickych souboru... Mym favoritem je nginx.
3. Na gr security bych se vykaslal, pokud s tim dobre neumis.
4. Ohledne distra je to jasne. Snad kazde vetsi distro ma dostatecnou softwarovou vybavu na provoz takoveho serveru. Pouzij takove, ve kterem se dobre vyznas a pouzivas rad. V mem pripade by volba padla na debian.

Jak jsem naznacoval v prvnim bodu, casem zjistis, ze jeden stroj nestaci. Budes muset koupit dalsi. je dulezite si reseni dobre rozmyslet. Musi to byt skalovatelne. Nejspis casem dojdes k tomu, ze budes mit webserver(y) a zvlast sotrage servery, pripadne loadbalancery. Je to vec, se kterou bude muset pocitat i tva aplikace.

Cele ti to bude brat hoodne casu a pokud budes uspesny, servery budou rychle pribyvat (24TB je plne jako nic).Nekdo se o to bude muset starat. Nekdo to bude muset rozsirovat a doprgavat featury.

[Pista]

Vdaka moc.

Ak som to spravne pochopil, tak ty na systemove particie (tam kde bude system a DB s MySQL) odporucas pouzit ext3. Na tie, kde sa budu ukladat fajle mozem pouzit XFS?

[Messa]

4000 klientu najednou a 4 1,5TB disky? To budou nejake ultra hyper 15kRPM? Takove jsem v teto velikosti jeste nevidel...

Pokud budes delat fakt takhle velky projekt, tak se experimentovani nevyhnes; obcas proste budes muset prehodnotit nektera rozhodnuti. Zvlaste kdyz jsi jeste nic takoveho nedelal.

Pokud opravdu pocitas s takovou zatezi, mozna (spis asi) ti jeden server stacit nebude. Takze argument nepreinstalovavat server predpokladam pada :)

To jaky webserver tam dat bude nejspis zalezet na rozhodnuti toho, kdo to bude programovat.

Uz mas nejak vyresene zalohovani? Distribuci souboru na vice serveru (pokud to bude potreba)? Mas vyjednany dostatecny traffic do internetu (hlavne do zahranici, pokud s timto typem provozu pocitate)?