Jak se staví fileserver (diskuse)

[trekker.dk]

K dispozici je RAID 0,1,5 a 6

a 10

[Limoto]

A 50 nebo 60 ne?

[pht]

15 :)

[prOm3TheuS]

Jediná trochu hloupá část je jak (a kam) ochránit svazek /boot

Žádný /boot ale vše ponechat na jednom Linux raid autodetect svazku.
Všechno funguje tak, jak má a nepotřebuju k tomu ani initramfs

[tomm]

Muzes to trochu rozvest? Ja to prave resim pres /boot partition a zapsany GRUB na vsechny disky a rikal jsem si, ze musi byt i elegantnejsi zpusob.

[CET]

Jo, to by mel taky zajimalo. To reseni boot na raid bude fungovat asi jenom pri mirroru, ale uz ne pri raid-5 nebo necem podobnem.

Pri mirroru totiz grub najde klasickej FS, ale pri raid-5 je to rozfracany po diskach, takze z toho grub nic nepozna. V pripade raid-5 je teda nutne (stejne jako v pripade LVM) udelat zvlast /boot partisnu (bud plain a pak na dvou discich rucne instalovat kernel a initrd; nebo jako mirror) a z te pak bootovat a ta pak hodi raid-5 a pripojit root.

[prOm3TheuS]

S raid5 to nemám vyzkoušené, ale v podstatě to asi nepůjde, neboť si s tím neporadí grub. Každopádně Raid10 na tomhle řešení funguje dobře.

[prOm3TheuS]

Důležité je, aby v kernelu bylo toto:

• CONFIG_MD=y
• CONFIG_BLK_DEV_MD=y
• CONFIG_MD_AUTODETECT=y
• CONFIG_MD_RAID1=y (případně jiný level raidu)

Všechna data i s /boot adresářem mohou být pak třeba na /dev/md0 ale je zapotřebí, aby oddíly, ze kterých se /dev/md0 skládá byly typu fd - Linux raid autodetect
Při bootu pak kernel hledá disky a oddíly, které jsou součástí raidu a sám si je poskládá.

/etc/fstab pak bude obsahovat takovýto řádek: /dev/md1 / ext4 noatime 0 1
A /boot/grub/menu.lst (bavíme se o grubu1) bude obsahovat něco jako:
title Muj server
root (hd0,1)
kernel /boot/vmlinuz root=/dev/md1


Při instalaci grubu je také potřeba zadat tyto příkazy:
device (hd0) /dev/sda
root (hd0,1)
setup (hd0)
device (hd0) /dev/sdb
root (hd0,1)
setup (hd0)

Tímto se řekne, že pokud začnou lítat z jednoho disku plameny, tak ten druhý nabootuje ten samý grub, jako kdyby to byl ten vyhořelý disk.
Ještě mě napadlo, že do toho tvého mini-raid-howto by se dalo dopsat, že existují ještě tzv. Fake raidy, které vypadají jako hardwarové, ale přitom všechno počítá CPU. V linuxu se krotí přes dmraid a jejich nevýhodou je, že se neumí dopočítatávat za chodu operačního systému, ale jen v Biosu.

[Ondar]

Mno to je sice hezký, že dám do kernelu tohle, ale nejdřív z něčeho ten kernel musím natáhnout ne? Proto tu řeším /boot. Nene, tohle není řešení (určitě ne pro RAID5,6)

[prOm3TheuS]

Jak jsem psal o něco výše v jiném vlákně - tohle funguje jen na raid1. Jinak před chvílí jsem na tohle téma ještě trochu hledal info a údajně grub2 umí bootovat i z raid5. Nemám to ale vyzkoušené.

[Ondar]

Grub by taky moc nepomohl - leda že bych ho nahrál na disketu nebo tu flashku. Mno ale když už mám disketu nebo flashku, tak tam mohu dát i kernel a initrd ne? Nene, aby to fungovalo z disku přímo by musela být podpora Linuxového RAID5,6 přímo v BIOSu - což se dá asi těžko předpokládat....

[prOm3TheuS]

Možná se mýlím, ale podle mě se grub při spouštění grub-install nahraje do zaváděcího sektoru disku a zřejmě i ten svůj raid modul, kterým pak přistupuje na ostatní data v raidu.

[Ondar]

Jo mýlíte se. Co se stane když mi odejde zrovna ten disk kde je zaváděcí sektor....?

[prOm3TheuS]

Obdobně jako u raid1 použiju jakýkoliv jiný z těch disků, který bude funkční.
Když se to vezme, tak vlastně při instalaci raidu se musí na každý ten disk nainstalovat grub.

[Ondar]

No a to se mi právě nelíbí, protože to IMHO znamená, že musíte mít na každym disku (tu samou) partition tabulku, a pak kdyžtak v BIOSu složitě nastavovat z jakýho disku bootovat. Tohle se mi nelíbí, protože je to složitý a není to elegantní. V jednoduchosti je síla...

[prOm3TheuS]

Ano přiznávám, že určitá elegance v tom je Každopádně pokud dojde k nějaké nehodě, tak to většinou počítač nerozdejchá a vadný disk musí ven. Úprava priority disku v biosu už je pak víceméně formalita.
Mě osobně zase příjde krkolomné dělat se s /boot oddílem a případně initramfs, když to může být takto jednoduché. Ale to je asi na každém, co je mu lepší

[Jakub]

A vyplati se tohle vubec resit? Neni jednodussi pouzivat nejakou flashku se systemem (bez swapu, NAS tohle tezko potrebuje)? Nejde o tech par stovek MB ktere system zabere, ale o to ze si tim vyrazne zjednodussite konfiguraci a muzete pak pouziva cele disky misto partition.

Mit zvlast systemovy disk taky jde, ale je to plytvani sloty jak na desce tak ve skrini, a pokud vam flashka prijde malo spolehliva (nebo stylova), da se koupit disk on modul do IDE slotu ktery dneska najdete v kdejake desce a nevyuzijete.

Jinak, pokud touzite jenom po souborovem serveru, je solaris nebo opensolaris mnohem lepsi volba nez linux -- lepsi sitovy subsystem, lepsi SMP, ale hlavne mnohem lepsi filesystem (okamzite snapshoty, kontrolni soucty dat, ...) a RAID. Az bude btfs, bude to ovsem fajn.

[prOm3TheuS]

Compact Flashka do IDE je docela hodně zajímavý nápad. Díky za pěknou inspiraci.

[Kvakor]

Dnešní desky mají často jeden legacy PATA port, takže pokud se tam strčí něco takovéhleho, tak není co řešit.

[Jakub]

Jasne, flashdisky se vali vsude a levne, zatimco tohle chce CF kartu a adapter. Ale CF karty jsou mnohem rychlejsi a spolehlivejsi nez flashdisky (jsou to precejen primarne prumyslovy zarizeni, narozdil od treba SD karet), plus se to da spokojene provozovat jako IDE disk takze i OS kterym se nechce instalovat na /startovat z USB to zkousnou.

Pro firemni nebo profesionalnejsi souborovy server bych asi nevahal tech sest nebo kolik stovek za CF + IDE adapter.

[ntyrnbyr]

Proc ne rovnou redukci pro SATA?

[Kvakor]

Klidně i do SATA, ale je dražší (musí mít elektroniku, PATA tredkuce jsou jen dráty) a musí se někam přišroubovat, zatímco PATA redukce může sama trčet přímo z desky. A zabere jeden SATA port, zatímco PATA redukce použije jinak dnes nepoužívaný PATA port.

[Ondar]

Jakýpak "lepší" síťový subsystém má Solaris? Pokud myslíte síťový filesystém, tak je na tom Solaris i Linux vcelku stejně - NFS.

[Jakub]

Ma lip udelany paketovy fronty -- jednu na kazdej procesor x kartu, takze ten prutok je o neco lepsi. Sitovy souborovy systemy jsem nemyslel, ale kdyz uz o tom mluvite, solaris ma CIFS zabudovany do jadra takze dava lepsi vykon jak samba, umi lip windows-like ACL a tak.

Ale zas treba ovladace pro realteky v solarisu sajou, hm.

[Ondar]

Linux ma taky CIFS v jádře (když se zakomplikuje) - jinak by něco takovýho jako mount.cifs nemohlo existovat. Windows ACL bych sem nemíchal. A vůbec ACL je kapitola sama pro sebe....

[Vskutečnosti Saýc]

CIFS server, myslim.

[Ondar]

No nevim. Na Windowsech taky nenajdete NFS server ne? Navíc je to proprietární technologie, tak proč cpát do jádra něco co je založené jen na reverzním inženýrství - a tudíž potenciálně diskutabilní kvality. Tim nechci shazovat Sambu....

[Vskutečnosti Saýc]

Najdete.

Pochybuji ze ta implementace je zalozena na RE, spousta dodavatelu storage reseni (Novell, Veritas, Netapp) umi CIFS a nemyslim ze Solaris je vyjimka.

[CET]

Linux nedovolí manipulovat s PT která se právě používá.

Ale existuje partprobe z baliku parted a ta donuti kernel znovu precist PT a vytvorit tak /dev/ nody pro nove udelane oddily. Aspon ja to tak pouzivam docela casto. Pravda ale je ze oproti vgresize stylu to neni tak elegantni:)

[pht]

Za zmínku stojí, že md v linuxu nepodporuje bariéry (snad jen u raid 1). Tudíž pokud nemáte bateriemi zálohovanou cache v hardware (ale proč byste pak používali md), musíte u hardware (tj. disků) vynutit cachování write-through.

[Ondrej 'SanTiago' Zajicek]

Nez resit samostatny /boot, neni lepsi mit RAID pouze na disky s daty, a cely system mit na jedne read-only flashce?

[Jakub]

Je ;)

Ani nemusi byt readonly. Nebo IDE CF adapter a CF kartu, nebo disk on modul. Bez swapu neco vydrzi, a pokud se zazalohuje konfigurace, tak v pripade ze odejde staci jen nainstalovat znovu, naimportovat pole a pokracovat.

Nebo se ten swap da hodit do souboru na RAID disky.

Ramdisky zbytecne zerou pamet kterou jinak muze vyuzit souborova cache, i kdyz je fakt ze 30 MB taky nikoho nevyrthne, zalezi na tom jak se NAS pouziva.

[Josef Kufner]

Ještě pozor na logy a vubec celý /var.

[Jakub]

Toho je fakt malo. S logrotatem to par let vydrzi.

[Josef Kufner]

Záleží na provozovných aplikacích. Trocha spamu, pár insertů do DB a je to horší jak ten swap. Také útoky ssh botů dělají dost.

[Vskutečnosti Saýc]

To urcite, ale to tezko clovek potka na internim souborovem serveru ;)

[Ondrej 'SanTiago' Zajicek]

Nebo IDE CF adapter a CF kartu

Ano, to jsem myslel tou flashkou.

Ani nemusi byt readonly. Bez swapu neco vydrzi,

To jsem si take myslel a nejakou dobu jsem takto provozoval routery na rw CF. Po tech zkusenostech uz jedine read-only. Nezanedbatelne riziko poskozeni filesystemu, ktere je navic silne nelokalni (caste zapisy do jedne partition muzou poskodit i jinou partition). Obcas se objevi skutecne poruchy karty, obcas jenom poskozeni filesystemu (asi spatne interni cachovani uvnitr karet).

Ted mam read-only fs, loguju do ramdisku a je to spolehlive. Kdyz chci persistentni logy, tak pridam jeste USB flash a loguju na ni (a je to nastavene tak, aby kdyz odejde, tak se nic moc nestalo).

[tomm]

Ja jsem premyslel nad druhou CF na zapis, se specializovym FS pro pametove karty. To by ji melo udrzet hodne dlouho.

Navic zarizeni v siti by mohlo rovnou logovat po siti na log server

[xkucf03]

V mnoha případech je PT zbytečná - na dělení oddílů postačí LVM a oddíl LVM je lepší posadit rovnou na celé blokové zařízení (/dev/sde v mém případě).

Přiznám se, že dělám tabulku vždy (dávám GPT, pokud na to nezapomenu), ale spíš ze zvyku. Jaká jsou pro a proti v případě, že je zbytečná (LVM, RAID)?

[Ondar]

Pro PT:
- je multiplatformní
Pro LVM:
- mohu dělat změny za běhu a bez rebootu - a to včetně zmiňovaného rozšíření kapacity přidáváním disků

[xkucf03]

Šlo mi o tohle: mám linuxový* server a na disky chci dát SW RAID nebo LVM (případně oboje). Má smysl dělat PT a dát RAID/LVM na /dev/sda1 nebo nedělat a dát je rovnou na /dev/sda? Má to nějaký praktický přínos (výkon, kapacita), nebo jde jen o to, že „je to zbytečné“?

*) stejně tam jsou linuxové FS, LVM, RAID, takže mě nějaká multiplatformnost moc nezajímá.

[Limoto]

Nepřijdeš o 512B nebo v připadě GPT asi ještě o víc...

[KVakor]

512 bytů je to jen pokud začíná oddíl na CHS "souřadnicích" 0,0,2. Pokud se zvoli "DOS kompatibliní" formát, tak musí první oddíl začínat na 0,1,1, takže partition sežere celou první stopu, což je dnes u všech disků 63 sektorů, tj. 32256 bytů.

[Ondar]

Přesně tak. Zkrátka pokud na /dev/sda1 chceš posadit LVM a žádná jiná partišna tam uz nebude, tam nemá smysl partišny vůbec dělat a LVM oddíl posadit rovnou na /dev/sda.