Dotaz: Samba server ve škole

[kusic]

Zdravím, provozuji již léta školní samba server na RAID10. Nikdy jsem nepřišel o žádná data a výkon je dostatečný. Nicméně mám problém s kapacitou, která s přibývajícími daty přestává stačit. Plánuji tedy úplně nový server s CentOS7.2 a rozhoduji se o diskovém systému, který by mi umožnil v budoucnu rozšiřovat kapacitu. RAID5 nyní začínají všichni hanit (prý s rostoucí kapacitou disků roste riziko neopravitelných chyb díky dlouhé resynchronizaci při výměně vadného disku) a tak mne to zase vrací k RAID1 nebo RAID10. Je pro svým způsobem produkční server vhodná kombinace LVM na RAID1 s tím, že mohu v budoucnu přidávat další RAID1 dvojice a LVM rozšiřovat? I zde v diskuzi někteří LVM haní. Předem děkuji za radu.

---

---

Odpovědi

[kusic]

Ano je, ale přijdete o výkon. Otázkou je, zda jej pro toto nasazení potřebujete. Raid10 bude vždy rychlejší, než lineární LV nad sadou raid1. Na druhou stranu, LVM nad sadou raid1 je asi nejpružnější možná bezpečná konfigurace (kdykoliv je možné přidat další PV, kdykoliv je možné odebrat staré PV a nahradit jej novým a třeba i větším apod.).

Jinak haní se všechno, podstatné je mít zálohy.

[kusic]

Děkuji za briskní odpověď. Ta ztráta výkonu snad nebude tak hrozná, jelikož užší hrdlo jsem spíše zaznamenal v síťovém připojení než u výkonu diskového pole. Ještě jeden malý dotaz, je dlouhodobě bezpečné mít na LVM i /boot nebo bych měl pro něj udělat samostatné RAID1 bez LVM? Předem děkuji.

[Heron]

Ještě jeden malý dotaz, je dlouhodobě bezpečné mít na LVM i /boot nebo bych měl pro něj udělat samostatné RAID1 bez LVM?

Tohle nechte na distribuci. Při instalaci zvolte, že chcete mít systém na raid1, instalátor si to nastaví dle potřeby. Osobně vždy odděluji os a data, tedy /boot, /, případně další oddíly nechávám na samostatných discích a pro data si potom zařídím co potřebuji (v mém případě btrfs nad hromadou disků). V případě "důkladné" havárie potom stačí jednoduše nainstalovat nový počítač a datové disky (pokud přežily) se tam jen připojí, ze záloh se vytáhne fstab (+ pochopitelně nastavením služeb) a je to.

[kusic]

Děkuji, ve staré osvědčené konfiguraci také mám /boot a / a swap na dvou samostatných discích v RAID1 a /home zvlášť na jiných, ale pokud rozšířím počet disků, začínají mi docházet řadiče, ale určitě o tom budu uvažovat. Byl jsem vždy paranoidní a zatím se to vyplatilo.

[Heron]

začínají mi docházet řadiče

Njn. Obyčejné funkční HBA bez kravinek nějak dnes nejsou k sehnání.

[dustin]

Mám dobré zkušenosti s http://www.aliexpress.com/item/Avago-LSI-SAS-9210-8i-OEM-HBA-PCI-E2-0x8-1Y-warranty-Non-RAID0-1-10/32479095427.html, jsou nové. Na ebayi jsou běžně dostupné použité podobné ještě levněji, např. zrovna mám na cestě dva http://www.ebay.com/itm/LSI-PCI-E-6GBs-SAS-HBA-CONTROLLER-CARD-H3-25379-01F-SAS9201-16E-/201580511243?hash=item2eef22800b:g:14kAAOSwPv9XMNeL

Levného HW je všude spoustu

[kusic]

RAID 5 je pro moderní disky skutečně statisticky nespolehlivý, ale můžete použít RAID 6, pokud máte hodně disků a chcete zachovat kapacitu. RAID 6 lze růst, nicméně je vhodný hlavně pro případy, kdy se mnohem více čte než zapisuje, protože každý zápis vyžaduje ne zrovna triviální počítání parity (typicky je v takové situaci systém na RAID 10 a jen data na RAID 6).

LVM na více RAID 1 bude výkonově pomalejší než RAID 10. Linuxový RAID 10 neumí růst, ale můžete ale použít RAID 1+0, tedy RAID 0 nad RAIDy 1, což je ekvivalentní RAID 10 (pokud počet stripů × počet kopií = počet disků, což je typická konfigurace RAID 10), akorát s více nastavováním, a linuxový RAID 0 lze růst, takže přidáním dalšího RAID 1 jej můžete rozšířit. Pro velká pole se používá i RAID6+0 či RAID 10+0, ale to asi nebude váš případ.

[lertimir]

Článek je sice velmi populární ale také značně zavádějí. Ten předpoklad na kterém staví, je že s polem nic nedělám dlouho dobu a pak, když padne disk tak ho musím číst vlastně poprvé. Pak je ten článek pravdivý. Ale moje RAID5 disky procházejí kompletním čtením každý víkend. A pak ta pravděpodobnost že v jednom týdnu mezi čtením odejdou dva disky je výrazně nižší.

[kusic]

No není to jen ten jeden článek, četl jsem to už na více místech. Namátkou zde v části o RAID5: https://wiki.archlinux.org/index.php/RAID

[Sten]

Ten článek vychází čistě ze statistiky. Při rebuildu pole se musí přečíst všechny bloky všech disků bez ohledu na to, jestli se procházejí každý víkend nebo se několik let nečetly. Pravděpodobnost, že druhému disku selže čtení, je daná URE daného disku. Opět bez ohledu na to, jestli se z toho disku četlo hodinu nebo rok před rebuildem. Pravidelné kontroly slouží pro ochranu před silent corruption, ale s URE vám nepomůžou.

[lertimir]

Pravidelná kontrola slouží i jako ochrana pro URE. čistě ze statistiky. pokud nastane u některého disku URE tak v pravidelné kontrole je takovýto disk odhalen. A vyřazen z pole a vyměněn. Pokud disky nejsou pravidelně čteny, tak porušené sektory na disku mohou existovat dlouho a v případě pádu jiného disku nastává katastrofický scénář. A samozřejmě pořád existuje pravděpodobnost, že mezi jednotlivými kontrolami padnou (mají URE) dva disky. Periodické kontroly a vliv na URE se obvykle také nazývají Data scrubbing.

(z fyzikální pohledu bych k tomu dodal že chyby dat, máš na discích pořád. jenže je opravuješ CRC (Read -Solomon) atd. A obvykle chybový scénář má dvě hranice. pokud jsou chyby menší než ... Tak je vše v pořádku. Pokud jsou větší, ale menší než celková možná opravitelnost, tak se opraví, ale sektor je označen jako poškozený a je relokován. A teprve pokud to opravdu nejde tak je URE. Takže pokud disk pravidelně čtu, tak i opravuji sektory.

[kusic]

Zdravím, tak zatím jsem s RAID1+0 nebyl úspešný. Mám nainstalovaný CentOS7.2, systém mám na samostatných discích v RAID1 a nyní zkouším různé kombinace pro data. Zkusil jsem nasimulovat budoucí growing RAID1+0 a nebyl jsem úspešný. 1. Vytvořil jsem RAID0 zatím pouze z jedné dvojice disků v RAID1, proběhlo v pořádku. (--raid-devices=1) 2. Zkusil jsem RAID0 zvětšit o další dvojici disků v RAID1 a mdadm napsal, že mění typ na RAID4 a poté selže reshaping.

Takže to vypadá na LVM na RAID1 dvojicích.

[Sten]

Růst RAID 0 by měl proběhnout tak, že se převede na RAID 4 na více discích s chybějícím paritním diskem (což je totéž jako RAID 0) a následně se prohlásí za RAID 0. Nevím, proč to jádro dělá takhle komplikovaně, ale zdá se, že tak to prostě probíhá.

[kusic]

Aha, to jsou věci. Nicméně mi to napsalo reshape failed. Takže jsem tuto verzi opustil.

[Sten]

Mimochodem s CentOS 7.2 by mohlo být zajímavé sáhnout po btrfs RAIDu 10.

[kusic]

Jak jste zmínil btrfs, tak jsem si hned našel a přečetl článek pravděpodobně výše mně odpovídajícího kolegy Herona (podle názvu webu), moc pěkný článek. A je to masakr, moc se mi to líbí, jen si nejsem jistý jestli je ten systém dost dospělý na to, abych ho nasadil na tvrdo ve škole, nebo jestli jsem dost zkušený já pro něj. Například ty snapshoty mne fascinují (kvůli zálohám studentských dat apod.)

[Heron]

dospělý

Proto jsem vám btrfs ani nenavrhoval. Nevím, nakolik jste zkušený a především kolik máte času na správcovství, btrfs je skvělý systém, poskytuje hromadu možností a flexibility, ale nejde nasadit stylem "nainstalovat a zapomenout". Do prostředí školy (tak jak znám možnosti správců) bych volil spíše konzervativní řešení.

[kusic]

Spravuji IT ve škole již 16 let. Zkušený jsem dost na to, abych udržel léta bez výpadků samba server + Windows pracovní stanice různých verzí s roaming profily + MacIntosh stanice. To ale neznamená, že jsem dost dobrý, ale připokakaný a držím se konzervativnějších distribucí a jen přechod z ext3 na ext4 jsem rozmýšlel hodně dlouho. Takže na velké experimenty jsem neměl prostor a proto se ptám zkušených. Děkuji Vám oběma za výborné rady, vypadá to, že budu rozvažovat mezi LVM+RAID1 a RAID1+0

[Kit]

Vsadil bych na RAID10 s tím, že při upgrade vyměním všechny datové disky za nové nebo další diskové pole prostě jen přidám.

[kusic]

Jak na začátku uvádím, mám nyní RAID10, ale ten nelze grow. Tak jak píšete jsem to dělal do teď, ale je to zdlouhavé a na dvě větší disková pole najednou v systému nemám dost řadičů ani slotů na desce pro ně.

[Kit]

Myslel jsem "další diskové pole" jako další zařízení, např. NAS.

[kusic]

Rozumím. Nicméně všechna má data jsou pouze domácí adresáře studentů a učitelů a cestovní profily. Nic jiného. Nenapadá mne jak delegovat část domácích složek na jiné úložiště než na serveru... Clusterová Samba je zatím mimo mé mentální možnosti. Pokud mi některé řešení uniká, rád se poučím.

[Kit]

Možná by se daly oddělit domácí adresáře a cestovní profily na různé stroje.

Ještě mě napadla jedna šílenost: Místo na serveru mít data distribuována na lokálních stanicích. Každý disk by měl oddíl, který by byl využíván nějakým distribuovaným souborovým systémem, např. GlusterFS nebo Hadoop. Problém by však byl, pokud by se ty stanice vypínaly.

A pak ještě něco mezi: Sada např. 4 serverů, v každém by byly 2 disky v RAID0 a na tom celém opět distribuovaný FS, viz výše. Při nedostatku úložného prostoru by se jen přidávaly další servery a tím by i rostl výkon celé sestavy. Ty servery by mohly být nízkopříkonové a také poměrně levné. Při poruše některého z disků se ten disk prostě vyhodí a vloží se místo něj nový. Data se dopočítají automaticky.

[kusic]

Lokální stanice jsou nevhodné, občas nějaká umře, ale protože máme cestovní profily, není problém, nainstaluje se Windows a jede se dál, data jsou na serveru. Distribuce cestovních profilů by šla, nicméně data osobních složek jsou násobně větší než cestovních profilů. Přemýšlel jsem o pohlaví (kluky na jeden server, holky na druhý :). Místo mám omezené (nemám serverovnu, ale můj kabinet s klimatizací), ale do budoucna určitě ještě stroj přidám.

[Kit]

Místo rozdělení podle pohlaví bych zvolil rozdělení podle ročníků tak, aby každý žák absolvoval celé studium na jednom serveru. Nový ročník by převzal uvolněné místo na serveru po posledním ročníku.

Distribuované souborové systémy obvykle počítají s tím, že některý z nodů občas umře a je přeinstalován. Udržují si zrcadlená data na dalších 2-3 nodech. Tento systém umožňuje používání levných a snadno nahraditelných nodů místo nákladných serverů s diskovými poli.

[kusic]

No pokud si nezmění pohlaví, tak taky absolvuje celou školu na jednom serveru ne? :) To jen špičkuji, ročníky jsou dost asymetrické (jsme voš a ne každý dokončí), nicméně distribuce na více menších strojů je věc o které často přemýšlím, ale ještě jsem se nedostal k dostupném robustnímu řešení pro běžný samba server, které bych zvládl. Pokud by to mělo i výkonovou výhodu (myslím síťovou, výkon diskového pole je nyní dle mého v pohodě) tak proč ne. Ale spíše v podobě dalšího stroje jako sekundárního domain controlleru samby, protože to jak se vykecává windows klient s domain controllerem, při loginu, to je věc.

[Kit]

Kdyby to nemělo výkonovou výhodu v síťovém provozu, tak by to Google nepoužíval. Navíc tam není rozdělení na master a slave, takže kterýkoli node se dá za provozu vyměnit za nový bez ztráty dat.

[pavele]

Tak zrovna GlusterFS bych moc nedoporučoval.

Testoval jsem ho poslední dva roky a během té doby mi mnohokrát nenajel po aktualizaci, někdy nešel připojit (problémy se znakovou sadou), pokud "spadl" jeden nód, druhý se po nějaké době sám odpojil atd.

A to jsem byl ze začátku fanoušek GlusterFS... Red Hat jej sice propaguje kde může, ale sám do clusteru používá GFS/GFS2.

Osobně se držím spíše KISS.

[Kit]

O GFS/GFS2 jsem nevěděl. Díky za info.

[j]

Naopak, dneska ze uz prakticky nic jinyho nez R5/6 nepouziva.

R10 se pouzival v dobach, kdy bylo treba z disku zdimat IO. To je dneska diky SSD pase. Aby to rozumne fungovalo, tak by to nemelo mit vic nez 6 disku v jedny R5/6 a naprosto nezbytnej je samo spare disk.

A tady samo narazis na swraid, protoze nevim o tom, ze by umel vcas rozpoznat chcipajici disk a skopirovat ho na ten spare, coz HW radice umej (nektery), cimz se vyhnes prave prepocitavani raidu (coz jinak muze bezne trvat dny).

Ad btrfs ... pokud stim nebudes vymejslet brikule, tak to funguje. Ma to jen drobnej nedostatek - neumi ti to rict, kolik mista mas na disku. Ale zalohovani ti raid stejne nenahradi, takze je uplne jedno co pouzijes.

Pro zajimavost by me zajimalo, koli desitek TB dat tak v ty skole mas ... ;D.

[kusic]

V serveru mám 2 disky raid1 se systémem, na data RAID10 6 + 1 (spare) disků po 1 Tera. A přestávám se vejít. Jsme grafická a foto škola, dat je víc a víc. Navíc studenti i vyučující využívají roaming profily... Každé zvonění je vždycky nálož při logování :) Nemám volné ruce, abych rovnou všechny disky vyměnil za 2 nebo více Tera nebo nakoupil rovnou celou novou sadu disků, musím jít po kouscích. Používám mdadm a zatím vždy včas přeskočil na spare, než se něco pokakalo (jakmile rychle rostly unrecoverable errors, vzal si spare). Přesun na nový server jsem právě plánoval tak, že přesunu data a pak i úplně zdravé disky ze starého serveru a udělám grow.

[Kit]

Jak může být logování cestovních profilů náročné, když v něm nejsou skoro žádná data?

[kusic]

Nainstalujte si třeba Adobe Creative Suite, jednou spusťte Adobe Bridge, Illustrator, něco málo v Indesignu, vydestilujte postscript a roaming část dat má půl giga. A ano mám přesměrované vše co je bezpečné. Chrome profil se bohužel taky musí roamovat, jen cache posílám do local data. No a pracovních stanic je 50. A lahůdka, že iTunes ukládají při update firmware iPhone do roaming složky, škoda mluvit. Ale to je jiné téma. Bavíme se o discích.

[Kit]

Hmm, zdá se, že Microsoft ví, jak efektivně zpomalit provoz na lokální síti...

[MP]

Co s tim ma spolecne MS? Za to muzou dost casto vyrobci SW, jak se jejich aplikace z hlediska generovani souboru na disku chova (a kam co ukladaji). A pokud se nepouzivaji presmerovae slozky, tak proste sync lokalnich adresaru se serverem si nejake zdroje vezme i na blbem linuxu.

[Kit]

Hlavně to, že takovou časově náročnou synchronizaci vůbec zřídil. Přitom mohl ten profil jen vzdáleně připojit a na lokálu mít jen malou cache. Stěhování dat, ze kterých většinu uživatel během sezení vůbec nepoužije, je velice neefektivní a přesto to Microsoft implementoval.

[MP]

Prosim vas, co je to "mala cache"? A jak efektivni to bylo v dobe minule, kdy ty stanice/site bezne vykonem zrovna neoplyvaly a specialne RAM? Uvedomujete si, kolik dat je vubec v profilu? Zadna technologie nebyla od zacatku navrhnuta dokonale, takze vas problem resi ty "redirected folders", ktere prisly na zaklade zkusenosti s funkcnosti roaming profilu pozdeji.

[kusic]

S cestovním profily pracuji již 14 let. Nenávidím je i je mám rád. Používat je musím, naši grafici, fotografové mají rádi svou plochu a nastavení svých aplikací na libovolném počítači ve škole. Přesměrované mám vše kromě roaming dat a plochy, to nelze, byl jsem tam, viděl jsem to a už to nechci. Čekat než se otevře menu v aplikaci až 10 sekund, to se musí vidět, poškozená data aplikací na denním pořádku... Na druhou stranu, když přiletí ředitelka, že jí úplně umřel počítač a že skončil svět, a já jen vyměním disk, clonezillou za 10 minut nainstaluji windows, ona se přihlásí a vše je na svém místě, to je radosti. Jediný problém jsou právě nezodpovědní vývojáři software, kteří používají roamming data jako odpadiště nebo cache! A proč chrome ve výchozím nastavení ukládá profil do local data?! Je to prostě štelování, ale pak mi externisté říkají, že v jiných školách to tak fajn udělané nemají. Jen mandatorni profily, data si nosí na svých flashkách apod.