Migrujeme systém na RAID1, novinky v mdadm, cache, bariéry (1/2) (diskuse)

[Michal]

1. Jakou výhodu má používat externí bitmapu? Připadá mi to jen jako další kurvítko které se může rozbít...?
2. Jak přesně funguje BBWC? Když vypadne napájení disků tak neuložené zápisy zůstanou v BBWC a pak když se napájení zase obnoví tak se to automaticky uloží? Ještě před tím než začne bootovat systém? Takže RAID bude konzistentní, ale FS na něm být nemusí..?

[Max]

Osobně neshledávám výhodu v externí bitmapě. Spíš mi to přijde jako další možnost, kterou možná někdo využije.
V jobu používáme hlavně HP a v nich je SA (Smart Array - P400, P410, P420 ...). Ty se chovají tak, že pokud dojde k výpadku a jsou nějaká nezapsaná data v cache (nemusí to být vždy) tak řadič při načtení v postu zahlásí, že jsou v něm data a zeptá se, co s nimi. Buď se mohou zapsat na pole, nebo je může odstranit.
Kdysi dávno jsem nějaké takové výpadky zažil (ještě než jsme měli centrální baterie). Matně si vzpomínám, že asi jednou nešlo ty data zapsat na pole (na nějakém obstarožním SA řadiči) a musel jsem zvolit možnost jejich odstranění z cache. Tenkrát se nic nestalo, systém naběhl a vše fungovalo bez ztráty dat (Windows Server 2003). No, třeba mám jen víc štěstí, než rozumu :).
Zdar Max

[walkeer_CZ]

BBWC funguje presne jak popisujete a zarucuje, ze to, co se melo zapsat na disky, se take zapsalo, coz je velmi podtstane napr. v pripade zurnalu. Problem je, ze se u ne serveroveho zeleza muze stat, ze kdyz dojde k vypadku napajeni zrovna pri zapisu na disk, nektere sbernice ci samotny CPU zacnou generovat nejaky nahodny bordel a ten se pak dostane na disk. Pokud se zrovna zapisovalo do zurnalu, tak to je dosti spatne a ani BBWC nepomuze.

[Heron]

Ad 1)

Externí bitmapa je totéž co externí žurnál nebo co umístění databázových binárních logů na jiné diskové zařízení. Prostě pro rozložení zátěže mezi více diskových jednotek. Jestli další disk je kurvítko, to si administrátor musí rozhodnout sám.

[alkoholik]

Swap se na RAID nedaval kvuli vykonu.
Muze se totiz stat, ze vypadne disk a obsluha chyby shodou okolnosti potrebuje alokovat pamet. V systemu volna neni, takze si kernel chce ublinknout do Swapu. Jenze ten zrovna neni dostupny, protoze se pod nim rozpadl RAID. Obsluha chyby shodou okolnosti potrebuje alokovat pamet. V systemu volna neni,..

[Masca]

Swap se na RAID dává kvůli zajištění.

Může se totiž stát, že vypadne disk, na kterém byl swap, a systém tím přišel o kus paměti. O který, to ví jen jádro, a příslušná aplikace, které patřil, se pravděpodobně v blíže neurčené době skácí. A to není pro nerušený běh věcí zas tak fajn.

RAID se nerozpadavá, RAID degraduje. Funguje dál na menším počtu disků, toto fungování se zajistí v jádře, kód a data jádra se obyčejně neswapují nebo dost neochotně. Pokud pro RAID zbývající počet disků není dostatečný, tak je to stejně v kopru a o nějaké záchraně nemůže být řeč.

[Max]

Tak tak.
Zdar Max

[alkoholik]

V podstate si vybiras mezi moznym deadlockem v kernelu v okamziku, kdy ti dosla pamet a cely system pujde do kopru, a moznym padem aplikace, ktera ma odswapovano. Sofiina volba.
BTW: Ten deadlock jsem videl potvrzeny jeste v 2.6.16.
Navic se dnes pouziva pristup: server zacal swapovat? Pridejte mu pamet.

[bohyn]

Naposledy kdyz jsem omylem vytahnul disk s aktivni casti swapu tak okamzite nasledoval kernel panic a system sel do kopru. Tim ze popadaji jen aplikace ktere jsou ve swapu bych se moc neutesoval. Co bylo v tu chvili ve swapu netusim, ale vetsinou byva prazdny.

[fahacz]

pamet jadra je podle me "neswapovatelna", maximalne muze byt tak uvolnena, ale na swap se zrejme nikdy nedostane nebo se pletu?

Nejak to souvisi se ZONE_NORMAL coz by melo obsadit neco mezi 16 - 896MB, ale to uz varim z vody, na x86 si typicky bere 128MB (pod tema 16 je DMA), takze stroj s 1024MB RAM ma k dispozici 896MB pro userspace. http://lwn.net/images/pdf/LDD3/ch15.pdf

--- kód a data jádra se obyčejně neswapují nebo dost neochotně

[j]

SW RAID se uplne vpohode rozpadne ... uz sem i videl. Zrcadlo, jeden disk posel, ale system ho urcil jako "ten zdravej" ...

[anonym]

existuji dva ruzne pristupy, jeden rika ze swap mit nad RAIDem, druhy ze ne. problem s pameti tam neni, mdadm by mel vsude alokovat z rezervnich stranek systemu (stejne jako cely diskovy subsystem a cokoliv co muze byt potreba pro swapovani). swapovani tedy nenastava az na posledni chvili, system ma trochu (viz sysctl) volne pameti porad

swap na RAIDu je dobry pokud potrebuji uptime vice nez vykon (tedy servery) - pri vypadku disku jej muzu hotswapem vymenit a nikdo nic nepozna

samostatne swap oddily se hodi kdyz mi jde o ochranu dat, ale restart navic me nepali (desktop, kde casto ani nemam UPS) - pri vypadku disku zmizi cast swapu, pokud v nem byla data "systemoveho" programu tak to cele zatuhne. vyhoda je ze mam swapu dvakrat tolik, s vyssi rychlosti zapisu (cteni by melo byt stejne rychle)

[motyq]

v dnesni virtualizovane dobe mi prijde swap jako prezitek (dle mych zkusenosti/dle toho co provozuju). 32G Ram na serveru beru jakysi standard uz, virtualum pridelim max tolik aby nevyzrali 100%, na samotnem hostiteli nema co by extra zralo ram.

Co si pamatuju tak od te doby co to takhle delam, mi nechcipl jediny hostitelsky system z duvodu zravosti hostu. Predtim se bezne stavalo, ze kdyz uz neco zaclo swapovat, tak to stroj natolik zdrzovalo, ze to nebylo pouzitelne.

Pamet je v dnesni dobe tak levna, ze se vyplat pridat, nez se babrat swapem.

[David Watzke]

Ještě občas paměť dojde, když se něco zblázní a pak ti swap koupí trochu času. Ale stejně to většinou nestihneš zachránit, pač než se logneš do zaswapovanýho systému a stihneš tam něco spustit, tak dojde i swap

[walkeer_CZ]

nastesti mame OOMkiller :)

[David Watzke]

No, zrovna touhle příšerností bych moc nešermoval

[R]

Disk aj tak vacsinou "nevypadava" cely, ale len zacne robit chyby. Z RAIDu vypadne, ale swap moze este fungovat. Vtedy staci urobit swapoff na tom vadnom disku a disk sa moze vymenit.

[Mti.]

Dobre, ale spolehej na to, pokud ta masina ma aj neco delat. Za mne swap nad raidem. Pripadu, kdy je co zachranovat je sice dost, ale nestoji to za tu pakarnu. Takhle mi zmizi chciply disk ze sbernice a jede to dal, akorat mi dojde mail od mdadm s par UUUUU_

[walkeer_CZ]

SWAP se na servery nedava kvuli vykonu. Tecka :) vazne nechapu adminy, ktere v dobe 16GB a vice RAM i v tech nejlevnejich serverech zapinaji hruzu jmenem SWAP. Jediny vysledek, ktery nastane, kdyz dojde pamet je totiz ten, ze system zacne swapovat, cimz load typicky stoupne na 100 a vice a server jde vpodstate dokopru. Kdyz SWAP neni, proste nastoupi OOMkiller, zabije rozbitou aplikaci (jak jinak muze dojit pamet na serveru, pokud neni admin id*ot?) a jede se vesele dal.

[trekker.dk]

SWAP se na servery nedava kvuli vykonu. Tecka

Nesmysl. I na serveru s 16GB RAM se jádro může rozhodnout něco odswapovat, pokud usoudí, že danou paměť lze využít líp.

Kdyz SWAP neni, proste nastoupi OOMkiller, zabije rozbitou aplikaci

Kdyby tohle byla obecně pravda, vývojáři jádra by se každou chvíli nepokoušeli opravovat OOM killer. Do správné aplikace (pokud to není naprosto jasné) se totiž tak spolehlivě netrefí.

[walkeer_CZ]

pokud jsou bezici aplilace alespon trochu spravne nakonfigurovany, tak pamet nedochazi a usporit tech mar MB, ktere lze beztrestne odswapovat je opravdu zasadni prinos. Naopak kdyz pamet zacne dochazet, tak je IMO SWAP naopak pritezi, protoze zpusobi treba i hodinovou nedostupnost serveru jako celku. Osobne mi prijde daleko lepsi kdyz server je po celou dobu funkcni s tim, ze OOMkiller zabije nejakou aplikaci a tim vyresi malo RAM. Krome toho: moje zkusenost je takova, ze kdyz uz je swap vazne potreba, tak je to kvuli nejakemu memory leaku nebo honde spatne konfiguraci a pak OOMKILLer nastupuje stejne, akorat to trva mnohem dele....

[trekker.dk]

pokud jsou bezici aplilace alespon trochu spravne nakonfigurovany, tak pamet nedochazi

Paměť spolehlivě nedochází pouze v případě, že se zcela zakáže overcommit

Naopak kdyz pamet zacne dochazet, tak je IMO SWAP naopak pritezi, protoze zpusobi treba i hodinovou nedostupnost serveru jako celku.

Jestli to nebude spíš rukama...

[Max]

Jednak každý nemá nový železo a ramka je hlavně levná u DDR3, takže starší servery s DDR2 moc levně nepovýšíš.
Dále tu máme serverová řešení, která se bez swapu nedají provozovat, viz třeba Oracle DB, který vyžaduje swap. Jednak ho vyžaduje instalátor, bez kterýho db standardně nenainstaluješ, dále kdyby jsi swap odstranil po instalaci, tak nevím, zda spustíš db, pokud db spustíš, tak ok, ale zase rozhodně nečekej, že budeš mít support. Jak je to u nedávno vydaného Oracle12 netuším.
Takových případů se pak najde trochu více.
Dále v mnoha případech je ztráta výkonu za použití swapu pro daný účel jaksi zanedbatelná a nehraje roli.
Osobně bych se tedy zdržel prohlašování jedné správné pravdy a neodsuzoval bych jiné .
Zdar Max

[alkoholik]

Zrovna Oracle je extra pripad. Vyzadovana velikost swapu pri instalaci je az absurdni a pravidelne odklepavam "ignorovat".
Na druhou stranu mam info, ze pro RAC instalace nastavuji swappiness=100:

The argument is basically that if you set swappiness to 100 it does aggressive page scavenging, i.e. the kernel will continuously look for pages that it can reuse. This doesn't however mean that it will always page. It also doesn't mean that if it is using swap that this pages written will ever be paged back in again. The usage of swap is not bad, it's high paging (i.e. moving blocks in and out of swap) that causes poor performance problems and especially with our config where swap in on NFS mounted drives.

If you set swapiness to any other value and in reality it makes little difference if you set it to 40, 60 or 80, then the kernel does not to aggressive scavenging. It will only start to look for pages to scavenge when it gets low on available memory. The down side to this is that when this happens it can cause the machine to 'freeze' whilst this is going on. However, the argument for this is that the machine should have sufficient memory to cope without having to scavenge. Although at best you will only ever minimize this, it's a normal kernel function and it will happen sooner or later.

What I do know for certain is that swappiness MUST be 100 for RAC DB installations. We have seen many times in the past where high loaded DB machines, say at month end, have been evicted from the RAC cluster because the kernel has gone scavenging for free pages and halted all other activity on the machines.

So evidently anything between 0 and 99 behaves pretty much the same – they have seen no real difference in behavior. However at 100 the page stealing daemon runs continuously ensuring memory is kept available. The difference on a system that has plenty of memory is a non-issue. On appropriately sized systems all values will behave pretty much the same. However on machines which begin to get into memory pressure the 100 setting incrementally begins using swap space earlier. What was found was that if it was anything other than 100 then when the paging daemon kicked in it could halt the system as it ran through the memory to clean it up the first time. This caused RAC outages and other instability.

My last conversation with SE suggested this behavior might change in OEL 6.

[walkeer_CZ]

omlouvam se, netusil jsem, ze Oracle, ktery mimochodem nenavidim, protoze se neda pouzivat aniz by z nej clovek nezesilel, vyzaduje SWAP. to bych zvracel...

[Michal]

Tak zrovna Oracle neni aplikace typu stahnu, nainstaluju a uvidim jestli se mi libi. Kdyz uz se nejaka firma rozhodne investovat do licence tak tech par chechtaku navic za odpovidajici zelezo je prakticky zaokrouhlovaci chyba.

[2X4B-523P]

ve fstab mám pri=1 a funguje a zde je prio=1, to mi nějak uniklo...

[Max]

Správně je "pri", chybička se do článku vloudila. Díky za upozornění.
Zdar Max

[David Watzke]

Dík, Krytone, opraveno.

[2X4B-523P]

lol, chystal jsem se odpoledne zjistit, jestli to není nějaká featura

[snehuliak]

Trocha odbocim ale len trocha... Upgradoval som (cez yum) z Fedory17 na Fedoru18 (dracut ok) ale dobrabralo mi to nejak raidy. Tiez sa zda ze to bolo schopne nabehnut len so systemom F18 ale z kernelom z F17...

V serveri mam 6 diskov. Mam raidy 0,1 a 5. Raidy su medzi diskami abc a def. Tieto 2 skupiny diskov su rozdelene na rovnake particie a na nich su raidy.

Problem nastal ked po reboote mali skoro vsetky raidy povypadavane disky. Nevypadol ale jeden disk ako som cakal ale nahodne. Napriklad md10 (raid5 tvoreny sd[def]5 ) mal vypadnutu particiu sdd5, ale md11 (to iste ale particia 6) mal vypadnutu particiu sde5 atd... Urobil som aj (zatial len short) smart test na vsetkych diskoch a zatial nevidim problem.

Vsetky particie sa mi podarilo rucne opravit (cez mdadm --stop, mdadm --assemble a mdadm --add) ale ked som chcel vyskusat este jeden reboot system nenabehol...

Metadata su vsetky 0.90. Mate nejaky tip?

Dakujem

[walkeer_CZ]

Diky za info o bitmape, openSUSE mi ji napralo na serveru jako default a je se divil, proc je to tak pomale. vypnuto a spokojenost :)

[pet]

Dovolil bych si doplnit pár drobností. Používám RAID1 přes celé disky a teprve výsledný /dev/md_d127 dělím na oddíly. Bootuji pomocí Grub-legacy, distribuce Gentoo.

Pro disky do 2 TB používám metadata verze 0.90, protože je umí i kernel, takže pro start OS nepotřebuji initramdisk. Staci kernelu předat parametry:

md=d127,/dev/sda,/dev/sdb root=/dev/md_d127p2

Pro disky nad 2 TB používám metadata verze 1.0, zde uz je nutno použít initramdisk.

Při použití Grub-legacy narazíte na to, ze nedokáže najít na /dev/md_d127 oddíly, protože většinou se číslo oddílu připisuje za název zařízení (končící písmenem), jenže zde název zařízení končí číslicí za niž se přidává oddělovač "p" a to už Grub-legacy neumí. Náprava je jednoduchá: uděláme symbolický link, vytvořime soubor s mapou zařízení a předáme ji grubu při spouštění:

ln -s md_d127 /dev/md_d127p
echo "(hd0)   /dev/md_d127p" > /boot/grub/device.map
grub --device-map=/boot/grub/device.map

[Max]

Já bych se initrd ani grub2 nebál. Oboje je pohodlné a spoustu věcí to ulehčuje. V initrd mám "/etc/mdadm.conf", kde je jasně popsáno, co se má sestavit a jaký název to má mít, takže jedu klasiku /dev/md1, /dev/md2 atd.
Zdar Max

[walkeer_CZ]

delam to stejne

[pet]

Já bych se initrd ani grub2 nebál.

Já se ho taky nebojím ale tohle používám už roky (verzi menší než 2 TB) a funguje to a to velmi splehlivě, a tehdy byl Grub2 ještě velmi experimentální. A initramdisk je zbytečná komplikace pokud není nezbytně potřeba (jako třeba při netbootu).

[lertimir]

Díky za hezký článek. Poradil bys co se dá dělat, když mám na disku superblok a nechci ho tam? Viz dotaz

[Max]

Tak jsem zareagoval, ale za nic neručím :).
Zdar Max

[mc]

Aby řeč nestála.

Používáte u disků nad 2TB gdisk? Jak vytváříte oddíly? Rád si vyslechnu zkušenosti o "BIOS boot partition" nastavení bios (UEFI boot) - prostě nějaké minikuchařky a zkušenosti.

[Max]

Osobně disponuji na dvou pc 2x1TiB WD Black RAID1, 2x1,5TB WD Black RAID1 + 2TB. GPT používám na tom 2TB HDD, ale je to jen přidaný disk, takže z něj nebootuju. Bootuju z obou RAID1 polí pomocí initrd a grub2.
Zdar Max

[pet]

Já na disky do 2 TB používám fdisk, na větší jsem použil parted a udělal na nich GPT.

[petr_p]

Program gdisk z balíku gptdisk. Ale jen kvůli UEFI. Tak velký disk nemám. Mimochodem, pomalu se dodělává podpora GPT i do fdisku z util-linux.