Server pro domácí síť, den druhý

23.1.2011 00:30 | Přečteno: 2129× | Linux |

Včera jsem server rozbalil, spustil a nahrál jsem aktuální firmware. Trochu jsem se seznámil se vzdálenou správou a nakonec jsem pustil důkladný test. Dnešek je den pro rozdělení disku.

Protože hlavním posláním nového serveru bude ukládání dat, uvažoval jsem o rozdělení disků poměrně dlouho. Do serveru se vejdou 4 disky po 2TB. Nyní je v něm jeden disk 250GB. Teoreticky je maximální kapacita 8TB, ale selhání každého z disků znamená ztrátu všech dat. S kombinací RAID 0+1 dosáhnu jen na 4TB. RAID5 je na první pohled dobrý kompromis a jasná volba - pokud bych to stavěl pro někoho jiného. Bohužel RAID5 neřeší zálohování a tak ať už úmyslným či neúmyslným smazáním dat tato zmizí. Takže pro sebe jsem vymyslel něco jiného.

Hlavní předpoklad je, že ne všechna data jsou stejně cenná. Takže mám data, která jsou opravdu cenná a o ta nechci přijít. Ta se musí zálohovat na jiný disk. Pak jsou data důležitá a u těch bude stačit, když budou zrcadlená on-line. No a nakonec jsou tu data nedůležitá a u těch mohu použít i prokládání.

Pro systém samotný jsem zvolil RAID1 a to především z důvodu rychlé obnovy provozu po havárii. Všechno ostatní budu řešit přes LVM. Zatím mám jen jeden disk 250GB. Druhý disk 2TB přidám až po dokončení instalace a finální konfiguraci všech služeb. Z něj se ukrojí 250MB pro mirror prvního disku. Další disky budu přidávat, až budou potřeba.

fdisk -l /dev/sda 

Disk /dev/sda: 250.0 GB, 250059350016 bytes
255 heads, 63 sectors/track, 30401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0xe0c72b8f

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          20      160618+  fd  Linux raid autodetect
/dev/sda2              21         282     2104515   82  Linux swap / Solaris
/dev/sda3             283         544     2104515   fd  Linux raid autodetect
/dev/sda4             545       30401   239826352+  fd  Linux raid autodetect

Boot bude mít 150MB a bude zrcadlený. Swap jsem zvolil 2GB a ještě si rozmyslím co s ním dál. Pro vlastní root jsem dal také 2GB (dal bych klidně 512MB, ale místa je dost). I root stejně jako zbytek bude zrcadlený.

Instalaci jedu podle Gentoo Quick Install Guide, takže nebudu popisovat úplně všechno. Dále trochu technicky, dělám to současně.

livecd ~ # mknod /dev/md1 b 9 1
livecd ~ # mknod /dev/md3 b 9 3
livecd ~ # mknod /dev/md4 b 9 4
livecd ~ # mdadm --create /dev/md1 -l 1 -n 2 --metadata=0.90 /dev/sda1 missing
mdadm: /dev/sda1 appears to be part of a raid array:
    level=raid1 devices=2 ctime=Sat Jan 22 21:44:31 2011
Continue creating array? y
mdadm: array /dev/md1 started.
livecd ~ # mdadm --create /dev/md3 --level=1 --raid-devices=2 /dev/sda3 missing
mdadm: array /dev/md3 started.
livecd ~ # mdadm --create /dev/md4 --level=1 --raid-devices=2 /dev/sda4 missing
mdadm: array /dev/md4 started.
livecd ~ # pvcreate /dev/md4
livecd ~ # vgcreate vg1 /dev/md4
livecd ~ # lvcreate -L8G -nusr vg1
  Logical volume "usr" created
livecd ~ # lvcreate -L4G -ndistfiles vg1
  Logical volume "distfiles" created
livecd ~ # lvcreate -L10G -nhome vg1
  Logical volume "home" created
[...]
livecd ~ # lvscan 
  ACTIVE            '/dev/vg1/usr' [8.00 GB] inherit
  ACTIVE            '/dev/vg1/distfiles' [4.00 GB] inherit
  ACTIVE            '/dev/vg1/home' [10.00 GB] inherit
  ACTIVE            '/dev/vg1/opt' [1.00 GB] inherit
  ACTIVE            '/dev/vg1/var' [2.00 GB] inherit
  ACTIVE            '/dev/vg1/tmp' [1.00 GB] inherit
livecd ~ # mke2fs /dev/md1
livecd ~ # mke2fs -j -O dir_index /dev/md3
livecd ~ # mkfs.jfs /dev/vg1/usr
livecd ~ # mkfs.ext4 -b 4096 -T largefile /dev/vg1/distfiles
livecd ~ # mkfs.jfs /dev/vg1/home
livecd ~ # mke2fs -j -O dir_index /dev/vg1/opt
livecd ~ # mkreiserfs /dev/vg1/var
livecd ~ # mkreiserfs /dev/vg1/tmp
livecd ~ # mkswap /dev/sda2
livecd ~ # swapon /dev/sda2

Za komentář snad stojí vytvoření RAID 1 se zatím chybějícím druhým diskem, já bych pro dnešek asi skončil s psaním a zkusím ještě kousek instalace.

Odkazy:
Gentoo Linux with Raid and LVM2 Quick Install Guide
Přechod na softwarový RAID 1 snadno a rychle        

Komentáře

[jelení hnůj]

no nevím, kdybys neztrácel čas psaním blogů tak to máš už dávno nainstalovaný. a osobně bych volil 4x 2TB v raidu 5 a systém bych plácnul na cokoliv, klidně na starej disk ze šuplete nebo paměťovku/usb flash.

[VSi]

Na druhou stranu, pokud ten server slouží jako primární úložiště pro data, co jinde nejsou, tak jen RAID nestačí. Potřebujete ještě zálohu/archiv těch dat pro případ nechtěného smazání nebo poškození. A mít pro takový archiv RAID může být zbytečný luxus.

Ono je ideální mít ten archiv na zvláštním stroji, protože zdroj může snadno zničit všechny disky naráz. Jinak je dobré mít RAID pro pracovní úložiště dat, abych nemusel v případě vadného disku honem opravovat server. A k tomu neredundantní prostor pro archiv, když si z toho RAIDu něco smažu.

Při dnešní velikosti disků a jejich ceně bych snad ani neřešil, že na něco bezpečnost RAIDu nepotřebuju, tak udělám na kusu disků stripe, a jinde mirror. Akorát to vede k tomu, že každou chvíli není někde místo.

A do toho serveru jde pohodlně dát 6 kusů 3.5" disků - ještě tam je 2 × 5.25" pozice. SATA portů je tam 6, takže to je akorát.

[hufhendr]

Díky moc za příspěvek, ve finále to bude asi docela komplikovaný mix, ale díky LVM a postupnému přidávání disků to bude vznikat v průběhu času podle potřeby. Dneska byl na řadě ten samotný systémový RAID, se kterým nemám zatím žádnou vlastní zkušenost a tak jen doufám, že je to navržené dobře a po instalaci to nastartuje.

Jinak máte pravdu, je tam celkem 6 pozic, DVD by se pak mohlo vyhodit, naopak počítám s páskou DDS2 (ze starého serveru).

[VSi]

Na DDS2 bych se snad i vykašlal. Mám DDS3 mechaniku, a tam se s kompresí vejde 24GB, což je dnes jako nic. U DDS2 to bude ještě míň. Navíc DDS není zrovna high-end technologie (nelze srovnávat s DLT, LTO), a často se říká, že ty pásky jsou write-only. Zažil jsem, že se na ně zálohovalo, a pak pásku stejně nešlo číst. Jasně, dá se vymyslet systém verifikace obsahu atd. Ale myslím, že podstatně míň starostí a lepší službu udělá externí USB disk, který se bude odpojovat a odnášet jinam.

[hufhendr]

Tenhle blog je pro mně vlastně dokumentace, kterou bych si jinak neudělal. A navíc v diskusi od Vás dostávám náměty a připomínky co mohu případně i zapracovat. Instaluji jen v noci a nikam nespěchám.

[Gilhad]

Uvazuju taky o zalohovani, ale protoze vychazim z jineho mista, tak se taky dostavam jinam a jinou cestou.

Ted to u sebe vidim na dva stejne pocitace, 6x2T disky v RAID 5 startovane z USB klicenky nactene do RAMeti (v podstate diskove pole s privesenym zelezem startovane z upraveneho USB recovery). Pristup prez ssh/sshfs, synchronizace z master na slave dle potreby, master plnen z "provozniho serveru" s 0.5 TB diskem. Soubory automaticky s md5sumou, kontroly pred a po prenosu.

[Michal Fecko]

Takyto system vytvarania RAIDu som uz dlho nevidel... Inac RAID nieje zaloha, iba redundancia...

[Pavel]

Blázen ten, kdo dává na server Gentoo - nic ve zlém, ale Gentoo není serverová distribuce.

[hufhendr]

Chci z toho ždímat maximum a mít to pod kontrolou. Ztrácet výkon budu až dál při virtualizaci.

[Gilhad]

Ja pouzivam Gentoo na vsechno a zatim plna spokojenost. Vcetne uz 5 let se serverem a 300+ zavislymi boxy, ktere jedou 24/7/365 (pokud neodejde HW). U Gentoo to mas takove, jake si to udelas - nemusis jet na dennich updatech pokud nechces. Uz davno jsem si s Gentoo vyjasnil, ze bude slouzit ono me a nikoli naopak :)

[hufhendr]

Tohle by mne zajímalo víc. Jak to řídíš, aby ses z toho nezbláznil?

[Gilhad]

Centralne, tvrda diktatura, vsechno jednotne. Updaty jen toho, co je potreba. Plus mi do toho nikdo nehrabe a nikdo nekeca :) Kdyz se cokoli opakuje vic nez dvakrat tak uz na to pisu nejaky skript.

[AraxoN]

Nerád by som zakladal flame, ale mohol by si to trochu rozpísať? Mám gentoo na tucte serverov, z ktorých niektoré bežia už 4 roky. Zatiaľ sa nevyskytol žiaden problém, ktorého príčinou by bolo gentoo. Tak som chcel vedieť, na čo si dať pozor...

[alblaho]

No my máme ve firmě takovou zkušenost, že někdo nainstaluje gentoo server a ten běží. Akorát se neupdatuje. No a pak je potřeba tam něco předělat a totálně zastaralá portage odkazuje na neexistující balíky a refreshlá portage zas ukazuje na nové balíky, které už nepasují na to, co je zkompilované.

No prostě CentOS/Debian/Ubuntu mi přijde praktičtější. Nainstaluje se to hned, je to trochu odzkoušená kombinace, a není to stále ujíždějící vlak.

Jinak gentoo používáme pro náš vlastní embedded produkt, protože máme exotický hardware a skutečně z toho potřebujeme vymáčknout maximum.

[Gilhad]

Ja tezim ze znacne unifikace HW a naproste unifikace SW, takze problematicky prechod muzu vyzkouset (a pripadne odladit) na testovacim boxu, az mi to na nem bezproblemove prejde, tak teprve ten postup vytahnu na ostre stroje. Zaroven s tim drzim na hlavnim serveru vlastni kopii portage a ostatni to tahaji z nej, takze sit neni v jedoucim vlaku, ale ve zmrazenem stavu danem masinkou.

[hufhendr]

A předpokládám dobře, že používáš binární balíčky? Pro konfigurační soubory máš nějaký centrální svn nebo i ty jsou všude stejné?

[Josef Kufner]

Tak ono to nemusí řešit balíčkama, ale stačí na to rsync. Pak se jen někdy v noci počítač vzbudí a updatne se podle vzorové instalace na serveru.

[hufhendr]

Jako že by se natvrdo kopírovaly nové binárky do /bin /usr/bin/ /sbin jádro do /boot a konfigurační soubory do /etc ? A knihovny k tomu? No asi by to šlo, ale není to moc drsné?

[Josef Kufner]

Proč by to mělo být drsné? O tu vzorovou instalaci se balíčkovací systém starat bude a tomu zbytku je to jedno, to budou téměř identické kopie.

[AraxoN]

Áno, to je problém. Gentoo treba updatovať často. Absolútne maximum doby medzi updatami je 30 dní. To je obvykle doba, počas ktorej je balíček označený na zmazanie ešte prítomný v portage. Ja updatujem raz do týždňa a ak sa nemení niečo podstatné, tak update tuctu serverov zaberie 10-15 minút čistej práce (nerátam čas kedy sa rsyncuje, alebo kompiluje, pretože za ten čas sa prihlásim na ďalší stroj a už ťukám ďalšie príkazy).

U Debianu, ktorý je väčšinou preferovaný sa obávam toho, že každý jednotlivý release je podporovaný len 3 či 4 roky. Potom, ak sa nemýlim, vzniká problém porovnateľný so zastaraným portage, alebo nie?

[alblaho]

Nevím za jak dloho na Debianu zaříznou podporu po novém stablu.

Každopádně Ubutnu-server LTS má podporu 5 let a RHEL/CENTOS tak 7. Pak je potřeba prostě upgradovat, což je sice práce, ale zase je to nějaký testovaný postup.

Prostě nejsem gentoo-pozitive ale to co uvádí kolega nahoře, že má vlastní portage a tím pádem věco naprosto pod kontrolou, to má něco do sebe.

[AraxoN]

Debian - vychádzam z wikipedie. Woody = support 4 roky od vydania, sarge = 3 roky, etch = 3 roky. Podpora pre jednotlivé releasy trvá približne rok potom, čo vyšiel ďalší release. Teraz niekedy by mal vyjsť ďalší, tzn. lenny má pred sebou už len rok.

Ubuntu - neviem ako server, ale na desktope som sa pokúšal o upgrade dva-krát a v obidvoch prípadoch sa to rozsypalo do tej miery, že som to musel preinštalovať nanovo. Hrozím sa toho, že by som mal robiť upgrade na diaľku, na serveri v ostrej prevádzke.

Gentoo - má tiež svoje muchy. Napríklad keď bugreport ostane rok bez odozvy, pričom oprava je na jeden riadok. O niektoré časti sa nemá kto starať a potom pekne zahnívajú. Keď raz moje gentoo servery zomrú, tak asi nie na rolling-updates, ale skôr na to, že nové balíčky už nebude mať kto vytvárať.

[trekker.dk]

Potom, ak sa nemýlim, vzniká problém porovnateľný so zastaraným portage, alebo nie?

Jak se to vezme. Pokud jsi ochoten dál provozovat distro, pro které nevychází aktualizace, můžeš. Jinak ti nezbývá než aktualizovat na nové stable. Samozřejmě - už tam nemusí být software, který jsi používal, popřípadě je k dispozici jenom novější verze, která ti může a nemusí vyhovovat.

Nemám to ověřené, ale tipuju, že přechod mezi stabilními verzemi někdo testuje, takže ty nejobvyklejší věci by se snad měly aktualizovat bez problémů.

[trekker.dk]

Zatiaľ sa nevyskytol žiaden problém, ktorého príčinou by bolo gentoo.

Tak to já už jsem pár takových potkal. Co se na Debianu udělalo skoro samo jedním apt-get install (celková doba práce cca půl hodiny), to jsem na Gentoo řešil několik dní a bez úspěchu - balíky z portage se nepřeložily a když (po řádné dávce laborování a googlení) jo, tak segfault při prvním pokusu o použití. A tak podobně.

Co se flamování týče, tak podle mě je Gentoo distribuce pro hračičky, kteří mají spoustu času řešit kraviny, které na jiných distribucích prostě fungují.

[AraxoN]

Pri prvých náznakoch problému v Gentoo je dobré pozrieť na fórum. Tam sa to väčšinou už rieši a zvykne tam byť workaround, alebo odporúčanie čo robiť. Neoplatí sa to "hackovať" po svojom, ale to isté platí aj pre všetky ostatné distribúcie.

Keď už to máš zmáknuté, tak s Gentoo nie je až toľko "hrania" ako by sa mohlo zdať. Odmenou je systém šitý na mieru, ktorý stačí len udržiavať.

[trekker.dk]

Pri prvých náznakoch problému v Gentoo je dobré pozrieť na fórum. Tam sa to väčšinou už rieši a zvykne tam byť workaround, alebo odporúčanie čo robiť.

Tak to fórum buď neindexuje Google, nebo tam nic takového nebylo. K jednomu workaroundu jsem se po několika hodinách musel dopracovat tak, že Google našel výpis přiložený k nějakému bugu, načež se mi náhodou povedlo objevit i ke kterému bugu to patří. A stejně mi to bylo prd platný, protože Segmentation fault.

A druhá věc: hledat na fórech je zbytečná ztráta času, když o kousek vedle můžu sáhnout po balíku, který prostě funguje (+/- musím si nastavit, ale to platí všude.)

Odmenou je systém šitý na mieru, ktorý stačí len udržiavať.

No ono to "jen udržování" taky není tak jednoduché, jak vypadá. A systém šitý na míru? Proč? Zatím jediné, co jsem si kdy v Debianu musel šít na míru, bylo přeložit si ze zdrojového balíku PostgreSQL klienta s podporou libreadline, protože z binárního balíku ji kvůli licenci vyhodili.

[AraxoN]

... A systém šitý na míru? Proč? ...

Napríklad pre účely hostingu. Začína to jedným ručne kompilovaným balíčkom pre postgres-client, potom sa k tomu pridá podpora pre clamav do proftpd, neskôr nejaký plugin pre dovecot. Potom príde php na mieru, aby tam bolo to čo chcú klienti. Takto to chvíľu pokračuje a zrazu máš pol tucta balíčkov kritických pre Tvoje podnikanie a každý z nich musíš sledovať sám, či tam nie je nejaká kritická diera, cez ktorú Ťa niekto hackne, alebo či Ti ostatné balíčky z balíčkovacieho systému neznefunkčnia tie Tvoje. Ak chceš mať aktualizovaný a bezpečný systém, v konečnom dôsledku Ti jeho správa zaberie viac než správa Gentoo.

[hufhendr]

Lépe bych to nenapsal

[trekker.dk]

Napríklad pre účely hostingu.

Tak se podívej, kolik hostingů nabízí PHP verze 5.2.6. Na 99% tam mají Debian/Ubuntu, kde je tahle verze ve stable.

Začína to jedným ručne kompilovaným balíčkom pre postgres-client

... záležitost čistě kvůli osobnímu pohodlí.

potom sa k tomu pridá podpora pre clamav do proftpd

Proftpd... nebyla tam teď nějaká díra, že se k tomu mohl připojit kdokoliv, kdo tomu řekl ACIDBITCHEZ? Ne, děkuji.

Potom príde php na mieru, aby tam bolo to čo chcú klienti.

Viz výše, zrovna tady bych už vůbec neviděl problém. Debian má moduly do PHP pro kdeco, takže co chci, to nainstaluju. A minimálně jednou se mi stalo, že modul pro PHP, který v Debianu je, jsem musel v Gentoo doinstalovávat ručně ze zdrojáků - v portage to nebylo.

Takto to chvíľu pokračuje a zrazu máš pol tucta balíčkov kritických pre Tvoje podnikanie a každý z nich musíš sledovať sám, či tam nie je nejaká kritická diera...

No zatím to ještě nezačalo Možná když se budeš hodně snažit, nakonec možná najdeš něco obskurního, co s binárními balíčky z distra vyřešit nepůjde nebo jenom špatně. Jinak je ale třeba si uvědomit, že to distro se poměrně intenzivně používá, takže bude dělané tak, aby bylo obecně použitelné.

A i když tam budu mít svoje upravené balíky, tak ani tak není problém s hlídáním aktualizací - prostě pro ty upravené (když už přistoupíme na to, že jsme sehnali nějaký software, kde nebyla jiná možnost) nastavíš hold (neaktualizovat) a když se při apt-get upgrade ukáže, že je novější verze, tak to vyřešíš hned.

Něco podobného platí pro znefunkčnění ostatními balíky.

Ono holt to, že Debian je mezi servery jedno z nejrozšířenějších (ne-li nejrozšířenější, viz ankety o distribuci roku tady) dister, má asi nějaký důvod.

[AraxoN]

Tie balíčky som si vycucal z prsta. Nechcem sa tu hádať, či je proftpd "fuj", alebo nie. Určite viem, že cca 5 rokov dozadu bolo Debian zložité priohnúť pre hosting, a že bežná prax bola inštalovať veci zo zdrojákov. Dnes to tak už možno nie je. V tom prípade gratulujem jeho šťastným používateľom.

[zahradnik]

mozes to objasnit preco nie Gentoo na server? server s gentoo mal uptime vyse 700dni... a potom odisla ups, server bezal 24/7/365... nevidim problem..

[trekker.dk]

Opravdu je dobré chlubit se serverem s děravým (minimálně) jádrem?

[Zdeněk Burda]

RAID ti nevyřeší zálohování, pouze ochranu proti selhání disku. Imho to moc komplikuješ. Na domácí server bych tam vrazil RAID5 přes 4 disky. Pro OS bych znich vykousl 20GiB a dal to třeba do RAID1 nebo bych OS dal na flashdisk. Koupil za 2k disk co jde připojit přes USB/AoE/eSATA/cokoliv a na něj odzálohoval ty skutečně důležitá data. Vlastně ne, vyprdl bych se na to a smazal zbytečný čurbes a nechal tam jen to důležité - nepotřeboval bych najednou samostatný server a 4x2T disky, ale třeba něco jako je asus wl700ge a do něj jeden disk a druhý někde na druhém konci baráku na občasné zálohy

[otasomil]

Asi bych zadumal kolik dat je dulezitych. Praxe ukazuje ze nejdulezitejsi data maji nejmensi velikost.

Pri prepeti v siti (bourka apod) casto dochazi ke zniceni vsech disku a zde RAID zpravidla nic neresi.

Dulezita data bych rucne a nebo pomoci vhodneho skriptu obcas podle toho jak casto se meni jejich obsah kopiroval na vymenitelny disk, ten vzdy vyjmul a schoval.

[hufhendr]

Opravdu důležitých dat objemově moc není. Proto přemýšlím o páskové mechanice, ale ta DDS2 je už asi opravdu malá. Možná se porozhlédnu na eBay. Jinak předpokládám UPS nebo alespoň pro začátek APC SurgeArrest P5B-FR. S externím diskem se mi moc běhat nechce, takže raději zálohování na běžně odpojený oddíl.

[Josef Kufner]

Pásková mechanika? Pevné disky vycházejí mnohem levněji a přes USB je lze připojit lehce k čemukoliv.

[multi]

S kombinací RAID 0+1 dosáhnu jen na 4TB. RAID5 je na první pohled dobrý kompromis a jasná volba - pokud bych to stavěl pro někoho jiného. Bohužel RAID5 neřeší zálohování a tak ať už

proc si porad vsichni mysli ze RAID (RAID1) rovna se zalohovani ???

Pak jsou data důležitá a u těch bude stačit, když budou zrcadlená on-line. No a nakonec jsou tu data nedůležitá a u těch mohu použít i prokládání.

tim prokladanim si myslel co? to mozna asi neco machlas dohromady...

[hufhendr]

Aha, teď mi to došlo, je to špatně napsané. Samozřejmě ani RAID 5 ani jiný neřeší zálohování. Zálohování pojede automatizovaně z disku na disk (jiný fyzický). Popsané to není, protože dnes je v serveru jen jeden disk a další nejsou zatím ani na cestě.

Prokládáním myslím:
lvcreate --size 3T --name striped --stripes 3 --stripesize 512 data

[gtz]

A co takto tam nacpat nějakou distribuci přímo jako NAS? FREENAS? apod.

[Milan]

Ahoj, nevím, jestli je nutný pro domácí server kupovat zrovna značkový železo... Každopádně sis s tím dal práci, tak hlavně ať ti to šlape... Aktuálně spíš dávám přednost desktopovému hardwaru, pravda nemá tak highend spolehlivost, ale celkem úspěšně na tom už nějakou dobu provozuju NAS uložiště a na dalším DICOM archív (archív lékařských obrazových dat), pokud by někoho zajímalo na čem to běží a jak to zprovoznit, rád se podělím o zkušenosti..

[Radek Hladik]

Jen pro info, je mozne udelat raid1 jen na jednom disku (misto toho missing) a v pripade potreby pridat dalsi slot pro dalsi disk...

[hufhendr]

Takže by to startovalo bez chyb ... škoda, že jsem to nevěděl dřív