Jak se staví fileserver

17.2.2010 11:58 | Přečteno: 2267× | poslední úprava: 17.2.2010 11:59

Na toto téma bylo již napsáno spousta chytrých článků a každý admin má na věc asi jiný pohled. Proto není cílem tohoto článku napsat nějakého kompletního průvodce, ale spíše je to shrnutí mých postřehů které jsem získal při stavbě mého stroje.

Výběr hardware

Tak člověk má při stavbě fileserveru (tím rozumíme mašiny co má více disků spojených v nějakém RAIDu) v podstatě tři možnosti:

1. Bez HW RAID. Každý disk je v mašině připojen zvlášť.
2. Máme HW RAID řadič. OS se stará o vše (podpora síťových filesystémů) ostatní
3. Máme NAS - tj kompletní black box co udělá vše pro nás.

ad 1.

V tomto případě pravděpodobně sáhneme po Linuxovém SW RAIDU a skvělém nástroji mdadm který nám dovolí jednotlivé disky spojit dohromady v libovolný svazek RAID. K dispozici je RAID 0,1,5 a 6. Tento případ zde popisovat nebudu, ale mohu jen říci, že SW Raid na Linuxu funguje rychle, stabilně a bezpečně. Už se mi i stalo, že se mi nešťastnou náhodou podařilo ze svazku RAID-5 vytáhnout dva disky najednou, ale stejně jsem byl pak schopen dát pole do kupy (když jsem si to uvědomil). Také různé jiné pokusy poli "ublížit" stroj přestál bez úhony.

Takže pokud musíte použít SW RAID na Linuxu, určitě se toho nebojte. Jediná trochu hloupá část je jak (a kam) ochránit svazek /boot. Ale i to se dá nějak ošetřit.

ad 2.

Toto je můj případ kterým se budu blíže zabývat. Mám pole Dell MD-3000 což je v podstatě krabice na disky (SATA nebo SAS) se dvěma řadiči RAID. Pole se propojuje se serverem pomocí SAS kabelu.

ad 3.

Tímto se také zabývat nebudu protože NASů je na trhu celá řada a jejich výhodou je, že se o nic nemusíte (většinou) o nic starat.

Připojení zařízení, partition tabulka

Jak jsem již říkal, moje pole se připojuje přes SAS kabel a v Linuxu se pak (po konfiguraci RAID svazku přes rozhraní řadičů v poli) objeví jako klasické blokové zařízení  /dev/sde. Když jsem server stavěl poprvé, vytvořil jsem na tomto automaticky partition tabulku. Pokud nemusíte tak to nedělejte, proč?

• Běžné nástroje vám vytvoří DOS partition tabulku. Ta ovšem neumí adresovat více než 2TB disky. Pokud musíte vytvořit partition tabulku, zvolte raději GUID partition tabulku pomocí nástroje parted nebo gdisk (který vým i umožní skonvertovat DOS PT na GUID)
• V mnoha případech je PT zbytečná - na dělení oddílů postačí LVM a oddíl LVM je lepší posadit rovnou na celé blokové zařízení (/dev/sde v mém případě). PT je nezbytná vlastně jen v případě, že pole používá i jiný OS, nebo pokud ze zařízení chcete bootovat (což není můj případ).
• Moje pole umožňuje zvětšovat kapacitu RAID-5 svazku za běhu - pouze přidáním dalších disků. Pokud na zařízení vytvoříte PT, budete muset při každé změně velikosti blokového zařízení několikrát rebootovat server - Linux nedovolí manipulovat s PT která se právě používá.

Změna velikosti svazku za běhu

Jak už jsem říkal, moje pole umožnuje RAID-5 svazek "nafouknout" za běhu bez ztráty dat pouze přidáním disků. Pokud přidáte disky a pole nafouknete, jeho kapacita se zvětší. Linux o tom ale neví - je třeba ho informovat:

echo 1 > /sys/class/scsi_device/<scsi address>/device/rescan

v kernel logu by se mělo objevit třeba toto:

Dec 7 16:18:31 dorado kernel: sde : very big device. try to use READ CAPACITY(16).
Dec 7 16:18:31 dorado kernel: SCSI device sde: 5761452032 512-byte hdwr sectors (2949863 MB)

Poslední krok je informovat i LVM oddíl, že se velikost fyzického oddílu zvětšila:

pvresize /dev/sde

pak už můžete používat klasických nástrojů LVM a zvětšovat logické oddíly - většinou to jde bez restartu (na rozdíl od zmenšování)

Snapshoty

U LVM máme i možnost používat tzv snapshoty - známé z různých implementací NASu a pod. Je třeba si ovšem uvědomit, že LVM snapshoty pracují bez spolupráce se samotným file systémem na oddílu, takže pokud je použijete, počítejte s dosti dramatickým snížením výkonu pole (hlavně při zápisu). Posledně, když jsem snapshot zkoušel, tak pole výkonnostně degradovalo 5-10x.

Elegantnější implementace snapshotů je možno docílit se spoluprací filesystému (umí to například ZFS a BTRFS).

Údržba

Další výhodou LVM je, že umožňuje přesun extentů za běhu mezi úložišti. Pokud tedy potřebujete například provést update firmwaru na discích nebo na řadičích RAID, je možno ke stroji připojit nějaké dočasné úložiště (např pár USB disků), pomocí příkazu pvmove přesunout data na ně, provést aktualizaci pole, data převést zase zpět a USB disky zase odpojit - uživatelé nic nepoznají.

Síťové souborové systémy

Konfigurace Samby, NFS, NFSv4 či Kerberosu by vydalo na další článek

       

Komentáře

[trekker.dk]

K dispozici je RAID 0,1,5 a 6

a 10

[Limoto]

A 50 nebo 60 ne?

[pht]

15 :)

[prOm3TheuS]

Jediná trochu hloupá část je jak (a kam) ochránit svazek /boot

Žádný /boot ale vše ponechat na jednom Linux raid autodetect svazku.
Všechno funguje tak, jak má a nepotřebuju k tomu ani initramfs

[tomm]

Muzes to trochu rozvest? Ja to prave resim pres /boot partition a zapsany GRUB na vsechny disky a rikal jsem si, ze musi byt i elegantnejsi zpusob.

[CET]

Jo, to by mel taky zajimalo. To reseni boot na raid bude fungovat asi jenom pri mirroru, ale uz ne pri raid-5 nebo necem podobnem.

Pri mirroru totiz grub najde klasickej FS, ale pri raid-5 je to rozfracany po diskach, takze z toho grub nic nepozna. V pripade raid-5 je teda nutne (stejne jako v pripade LVM) udelat zvlast /boot partisnu (bud plain a pak na dvou discich rucne instalovat kernel a initrd; nebo jako mirror) a z te pak bootovat a ta pak hodi raid-5 a pripojit root.

[prOm3TheuS]

S raid5 to nemám vyzkoušené, ale v podstatě to asi nepůjde, neboť si s tím neporadí grub. Každopádně Raid10 na tomhle řešení funguje dobře.

[prOm3TheuS]

Důležité je, aby v kernelu bylo toto:

• CONFIG_MD=y
• CONFIG_BLK_DEV_MD=y
• CONFIG_MD_AUTODETECT=y
• CONFIG_MD_RAID1=y (případně jiný level raidu)

Všechna data i s /boot adresářem mohou být pak třeba na /dev/md0 ale je zapotřebí, aby oddíly, ze kterých se /dev/md0 skládá byly typu fd - Linux raid autodetect
Při bootu pak kernel hledá disky a oddíly, které jsou součástí raidu a sám si je poskládá.

/etc/fstab pak bude obsahovat takovýto řádek: /dev/md1 / ext4 noatime 0 1
A /boot/grub/menu.lst (bavíme se o grubu1) bude obsahovat něco jako:
title Muj server
root (hd0,1)
kernel /boot/vmlinuz root=/dev/md1


Při instalaci grubu je také potřeba zadat tyto příkazy:
device (hd0) /dev/sda
root (hd0,1)
setup (hd0)
device (hd0) /dev/sdb
root (hd0,1)
setup (hd0)

Tímto se řekne, že pokud začnou lítat z jednoho disku plameny, tak ten druhý nabootuje ten samý grub, jako kdyby to byl ten vyhořelý disk.
Ještě mě napadlo, že do toho tvého mini-raid-howto by se dalo dopsat, že existují ještě tzv. Fake raidy, které vypadají jako hardwarové, ale přitom všechno počítá CPU. V linuxu se krotí přes dmraid a jejich nevýhodou je, že se neumí dopočítatávat za chodu operačního systému, ale jen v Biosu.

[Ondar]

Mno to je sice hezký, že dám do kernelu tohle, ale nejdřív z něčeho ten kernel musím natáhnout ne? Proto tu řeším /boot. Nene, tohle není řešení (určitě ne pro RAID5,6)

[prOm3TheuS]

Jak jsem psal o něco výše v jiném vlákně - tohle funguje jen na raid1. Jinak před chvílí jsem na tohle téma ještě trochu hledal info a údajně grub2 umí bootovat i z raid5. Nemám to ale vyzkoušené.

[Ondar]

Grub by taky moc nepomohl - leda že bych ho nahrál na disketu nebo tu flashku. Mno ale když už mám disketu nebo flashku, tak tam mohu dát i kernel a initrd ne? Nene, aby to fungovalo z disku přímo by musela být podpora Linuxového RAID5,6 přímo v BIOSu - což se dá asi těžko předpokládat....

[prOm3TheuS]

Možná se mýlím, ale podle mě se grub při spouštění grub-install nahraje do zaváděcího sektoru disku a zřejmě i ten svůj raid modul, kterým pak přistupuje na ostatní data v raidu.

[Ondar]

Jo mýlíte se. Co se stane když mi odejde zrovna ten disk kde je zaváděcí sektor....?

[prOm3TheuS]

Obdobně jako u raid1 použiju jakýkoliv jiný z těch disků, který bude funkční.
Když se to vezme, tak vlastně při instalaci raidu se musí na každý ten disk nainstalovat grub.

[Ondar]

No a to se mi právě nelíbí, protože to IMHO znamená, že musíte mít na každym disku (tu samou) partition tabulku, a pak kdyžtak v BIOSu složitě nastavovat z jakýho disku bootovat. Tohle se mi nelíbí, protože je to složitý a není to elegantní. V jednoduchosti je síla...

[prOm3TheuS]

Ano přiznávám, že určitá elegance v tom je Každopádně pokud dojde k nějaké nehodě, tak to většinou počítač nerozdejchá a vadný disk musí ven. Úprava priority disku v biosu už je pak víceméně formalita.
Mě osobně zase příjde krkolomné dělat se s /boot oddílem a případně initramfs, když to může být takto jednoduché. Ale to je asi na každém, co je mu lepší

[Jakub]

A vyplati se tohle vubec resit? Neni jednodussi pouzivat nejakou flashku se systemem (bez swapu, NAS tohle tezko potrebuje)? Nejde o tech par stovek MB ktere system zabere, ale o to ze si tim vyrazne zjednodussite konfiguraci a muzete pak pouziva cele disky misto partition.

Mit zvlast systemovy disk taky jde, ale je to plytvani sloty jak na desce tak ve skrini, a pokud vam flashka prijde malo spolehliva (nebo stylova), da se koupit disk on modul do IDE slotu ktery dneska najdete v kdejake desce a nevyuzijete.

Jinak, pokud touzite jenom po souborovem serveru, je solaris nebo opensolaris mnohem lepsi volba nez linux -- lepsi sitovy subsystem, lepsi SMP, ale hlavne mnohem lepsi filesystem (okamzite snapshoty, kontrolni soucty dat, ...) a RAID. Az bude btfs, bude to ovsem fajn.

[prOm3TheuS]

Compact Flashka do IDE je docela hodně zajímavý nápad. Díky za pěknou inspiraci.

[Kvakor]

Dnešní desky mají často jeden legacy PATA port, takže pokud se tam strčí něco takovéhleho, tak není co řešit.

[Jakub]

Jasne, flashdisky se vali vsude a levne, zatimco tohle chce CF kartu a adapter. Ale CF karty jsou mnohem rychlejsi a spolehlivejsi nez flashdisky (jsou to precejen primarne prumyslovy zarizeni, narozdil od treba SD karet), plus se to da spokojene provozovat jako IDE disk takze i OS kterym se nechce instalovat na /startovat z USB to zkousnou.

Pro firemni nebo profesionalnejsi souborovy server bych asi nevahal tech sest nebo kolik stovek za CF + IDE adapter.

[ntyrnbyr]

Proc ne rovnou redukci pro SATA?

[Kvakor]

Klidně i do SATA, ale je dražší (musí mít elektroniku, PATA tredkuce jsou jen dráty) a musí se někam přišroubovat, zatímco PATA redukce může sama trčet přímo z desky. A zabere jeden SATA port, zatímco PATA redukce použije jinak dnes nepoužívaný PATA port.

[Ondar]

Jakýpak "lepší" síťový subsystém má Solaris? Pokud myslíte síťový filesystém, tak je na tom Solaris i Linux vcelku stejně - NFS.

[Jakub]

Ma lip udelany paketovy fronty -- jednu na kazdej procesor x kartu, takze ten prutok je o neco lepsi. Sitovy souborovy systemy jsem nemyslel, ale kdyz uz o tom mluvite, solaris ma CIFS zabudovany do jadra takze dava lepsi vykon jak samba, umi lip windows-like ACL a tak.

Ale zas treba ovladace pro realteky v solarisu sajou, hm.

[Ondar]

Linux ma taky CIFS v jádře (když se zakomplikuje) - jinak by něco takovýho jako mount.cifs nemohlo existovat. Windows ACL bych sem nemíchal. A vůbec ACL je kapitola sama pro sebe....

[Vskutečnosti Saýc]

CIFS server, myslim.

[Ondar]

No nevim. Na Windowsech taky nenajdete NFS server ne? Navíc je to proprietární technologie, tak proč cpát do jádra něco co je založené jen na reverzním inženýrství - a tudíž potenciálně diskutabilní kvality. Tim nechci shazovat Sambu....

[Vskutečnosti Saýc]

Najdete.

Pochybuji ze ta implementace je zalozena na RE, spousta dodavatelu storage reseni (Novell, Veritas, Netapp) umi CIFS a nemyslim ze Solaris je vyjimka.

[CET]

Linux nedovolí manipulovat s PT která se právě používá.

Ale existuje partprobe z baliku parted a ta donuti kernel znovu precist PT a vytvorit tak /dev/ nody pro nove udelane oddily. Aspon ja to tak pouzivam docela casto. Pravda ale je ze oproti vgresize stylu to neni tak elegantni:)

[pht]

Za zmínku stojí, že md v linuxu nepodporuje bariéry (snad jen u raid 1). Tudíž pokud nemáte bateriemi zálohovanou cache v hardware (ale proč byste pak používali md), musíte u hardware (tj. disků) vynutit cachování write-through.

[Ondrej 'SanTiago' Zajicek]

Nez resit samostatny /boot, neni lepsi mit RAID pouze na disky s daty, a cely system mit na jedne read-only flashce?

[Jakub]

Je ;)

Ani nemusi byt readonly. Nebo IDE CF adapter a CF kartu, nebo disk on modul. Bez swapu neco vydrzi, a pokud se zazalohuje konfigurace, tak v pripade ze odejde staci jen nainstalovat znovu, naimportovat pole a pokracovat.

Nebo se ten swap da hodit do souboru na RAID disky.

Ramdisky zbytecne zerou pamet kterou jinak muze vyuzit souborova cache, i kdyz je fakt ze 30 MB taky nikoho nevyrthne, zalezi na tom jak se NAS pouziva.

[Josef Kufner]

Ještě pozor na logy a vubec celý /var.

[Jakub]

Toho je fakt malo. S logrotatem to par let vydrzi.

[Josef Kufner]

Záleží na provozovných aplikacích. Trocha spamu, pár insertů do DB a je to horší jak ten swap. Také útoky ssh botů dělají dost.

[Vskutečnosti Saýc]

To urcite, ale to tezko clovek potka na internim souborovem serveru ;)

[Ondrej 'SanTiago' Zajicek]

Nebo IDE CF adapter a CF kartu

Ano, to jsem myslel tou flashkou.

Ani nemusi byt readonly. Bez swapu neco vydrzi,

To jsem si take myslel a nejakou dobu jsem takto provozoval routery na rw CF. Po tech zkusenostech uz jedine read-only. Nezanedbatelne riziko poskozeni filesystemu, ktere je navic silne nelokalni (caste zapisy do jedne partition muzou poskodit i jinou partition). Obcas se objevi skutecne poruchy karty, obcas jenom poskozeni filesystemu (asi spatne interni cachovani uvnitr karet).

Ted mam read-only fs, loguju do ramdisku a je to spolehlive. Kdyz chci persistentni logy, tak pridam jeste USB flash a loguju na ni (a je to nastavene tak, aby kdyz odejde, tak se nic moc nestalo).

[tomm]

Ja jsem premyslel nad druhou CF na zapis, se specializovym FS pro pametove karty. To by ji melo udrzet hodne dlouho.

Navic zarizeni v siti by mohlo rovnou logovat po siti na log server

[xkucf03]

V mnoha případech je PT zbytečná - na dělení oddílů postačí LVM a oddíl LVM je lepší posadit rovnou na celé blokové zařízení (/dev/sde v mém případě).

Přiznám se, že dělám tabulku vždy (dávám GPT, pokud na to nezapomenu), ale spíš ze zvyku. Jaká jsou pro a proti v případě, že je zbytečná (LVM, RAID)?

[Ondar]

Pro PT:
- je multiplatformní
Pro LVM:
- mohu dělat změny za běhu a bez rebootu - a to včetně zmiňovaného rozšíření kapacity přidáváním disků

[xkucf03]

Šlo mi o tohle: mám linuxový* server a na disky chci dát SW RAID nebo LVM (případně oboje). Má smysl dělat PT a dát RAID/LVM na /dev/sda1 nebo nedělat a dát je rovnou na /dev/sda? Má to nějaký praktický přínos (výkon, kapacita), nebo jde jen o to, že „je to zbytečné“?

*) stejně tam jsou linuxové FS, LVM, RAID, takže mě nějaká multiplatformnost moc nezajímá.

[Limoto]

Nepřijdeš o 512B nebo v připadě GPT asi ještě o víc...

[KVakor]

512 bytů je to jen pokud začíná oddíl na CHS "souřadnicích" 0,0,2. Pokud se zvoli "DOS kompatibliní" formát, tak musí první oddíl začínat na 0,1,1, takže partition sežere celou první stopu, což je dnes u všech disků 63 sektorů, tj. 32256 bytů.

[Ondar]

Přesně tak. Zkrátka pokud na /dev/sda1 chceš posadit LVM a žádná jiná partišna tam uz nebude, tam nemá smysl partišny vůbec dělat a LVM oddíl posadit rovnou na /dev/sda.