Dotaz: Soft Raid 1+0

[Martin Dvorak]

Zdravim! Poradi mi nekdo, prosim, jak vytvorit bootovatelny softwareovy RAID 1+0? Fedora Core 2, 6x200GB SATA - cili: tri dvojice mirrorovanych disku (RAID 1) spojenych do RAID 0. Diky.

Odpovědi

[Max]

http://www.linux.cz/noviny/2001-08/index.html
file:///home/max/dokumenty/server/raid/extra%20boot
file:///home/max/dokumenty/server/raid/z%20rootu
Zdar Max

[Max]

Hupssss,sorry
http://www.linux.cz/noviny/2001-08/index.html
http://www.root.cz/clanek/1939
http://www.abclinuxu.cz/forum/show/57547
Zdar Max

[Martin Dvorak]

Dekuji za napovedu. Zminovane clanky jsem jiz cetl a obavam se, ze jsem nenalezl nic konkretniho o raid 1+0, nebo obecne o tvorbe pole, jehoz cleny jsou jina pole (a jeste to musi byt bootovatelne - cili autodetect)... Zkuste mi prosim nejak polopaticky popsat co s tim... Dekuji

[jm]

No ja nevim, podle tohoto navodu jsem delal RAID na Gentoo a zadny problem jsem nemel.

[wocis]

no nevim proc to tak komplikujes.. mas sest disku, a chces je po dvou hodit do mirroru, a pak tyto svazat do raid strippingu. jak to tak pocitam, tak prijdes touto kombinaci o 600G prostoru na redundanci a rychlost nebude zavratna, a kdyz ti vypadnou dva disky (resp 3 - v kazdem mirroru jeden, nebo dva, pokud ti chcipne celej jeden mirror), tak ses stejnak v hajzlu. proc si neudelas soft raid5 s nejakym jednim spare diskem. tim prijdes jenom o 400G disku (jeden parita, jeden spare), rychlost bude rekl bych podstatne vyssi nez tebou zamyslene reseni a nakonfigurujes to podle odkazu nade mnou. pokud to chces delat tim tvym zpusobem jenom kvuli raidu ktery umi tvuj radic, tak te muzu ubezpecit, ze to je stejnak ve finale delane softwarove ... takze dej vedet jak jsi dopadl. pokud je moje uvaha zcestna, tak me nekdo prosim opravte. cus...

[jm]

No ja bych taky jako rozhodne prinosnejsi videl RAID5.

[Martin Dvorak]

Mno, RAID 5 provozujeme na soucasnem dosluhujicim serveru a zrovna rychlik to neni. U RAID 5 totiz opravdu drhne zapis. Ad muj radic: nevazi se na to, co umi muj radic - neumi totiz nic - RAID 1+0 chci z prosteho duvodu: VYKON. RAID 1+0 by mel principialne byt vyrazne rychlejsi nez RAID 5 a moje pokusy s HW Mylex radici a U320 SCSI disky to jednoznacne potvrzuji. Udelal jsem jeste jeden vykonovy pokus na mem stroji s SATA: RAID 0 (dva disky): cteni=100MB/s, zapis=85MB/s; RAID 1 (dva disky): cteni=100MB/s, zapis 51MB/s; RAID 5 (ctyri disky): cteni=52MB/s, zapis=42MB/s => opravdu bych radsi RAID 1+0. Ad boot: nekde jsem videl navod, jak udelat bootovaci RAID 5, takze to asi jde. Ja bych ale rad vedel, jak vubec sestavit to pole 1+0... Asi ty navody spatne ctu, ale nevidim to tam...

[jm]

No ja tomu moc nerozumim. Co je vlastne pro vas cilem toho RAIDu? Vyplacat 600GB kapacity mi prijde celkem uchylne. Co tam nevidite? Mate tam navod na RAID 0 a RAID 1, tak co na tom neni jasne?

[Hynek (Pichi) Vychodil]

Co takhle dosáhnout téměř dvojnásobnou rychlost čtení i zápisu proti RAID5 a na nějakém tom GB nezáleží (patrně tan nepotřebuje mít uloženy všechnu mp3 světa, ale data známé velikosti ~50GB ) Je sice moc hezké mít bezpečnost RAID5 s horkou zlálohou jak navrhuješ, ale když chceš výkon, tak je to o výkonu.

[Martin Dvorak]

ad 1: vyplacat 600GB pro me v podstate neni problem, nebo spise zbylych 600GB mi staci... ad 2. asi jsem holt pomalejsi: ja to chapu takhle - na vsech discich udelam partice pres celou velikost a nastavim typ na fd (raid autodetect). Pote vyrobim raidtab a stvorim tri RAID 1 (md0, md1, md2) az sem neni problem. Ale jak dal? Predpokladam , ze bych potreboval udelat na md0-2 partice ktere bych oznacil jako fd a pokracoval ve vyrobe RAID 0 (md3). Je to spravne? Nejak se mi nedari udelat partici na md0-2...

[jm]

No ja tedy nevim, kam tohle reseni vlastne smeruje. Predstavoval jsem si to tak, ze 3 disky v RAID-0 budou mirrorovane na dalsi 3 disky. V cemu smeruje vyse uvedeny postup moc nechapu, RAID 0+1 na dvou discich se dela celkem blbe.

[Martin Dvorak]

Nechci pole 0+1, chci pole 1+0 - to je naprosto zasadni rozdil.

[Hynek (Pichi) Vychodil]

Nenech se zvyklat. Tihle komici s RAID5 skutečně netuší o čem mluví. Pokud nepotřebuješ šetřit na space, tak opravdu 1+0 je výkonově nejlepší. Jinak problémům předejdeš, když si dáš boot zvlášť (udělej si jeho kopii na jiném disku, ať se ti po vípadku automaticky nabootuje kopie). S autodetekcí by to chtělo totiž pokoumat a záleží kolik máš času. S bootem zvlášť si můžeš ten RAID nahodit "ručně"(explicitně) v initrd.

[jm]

Co se tyce autodetekce, tak pokud nastavim typ oddilu na discich na fd a prislusnou podporu v jadru, tak nemam problem. No a /boot bych opravdu dal radsi zvlast.

Jinak nevim, ale nejdriv bych se zamyslel, co od toho cekam a pak volil nejake reseni, ale nehodlam nikomu nic vnucovat.

[Martin Dvorak]

ad 1: jasne, ale lze vytvorit oddil a nastavit jeho typ na fd i u dev/mdX ? Me se to nejak nedari... ad 2: ja vim presne, co od toho cekam: ulozny prostor +- 0,5 TB, nizkou cenu (proto SATA) a maximalni mozny vykon pri sekvencnim cteni a zapisu velkych souboru.

[jm]

Viz vyse - ten postup nechapu (to by tam tech disku muselo byt 12).

[Martin Dvorak]

Nevim proc by to neslo. 1. Vytvorim tri RAID 1 (kazdy RAID bude mit dva disky) - to zjevne jde. 2. ta tri pole spojim do jednoho pole RAID 0 - a to neumim, umim jenom spojit 3 disky do RAID 0, ale ne pole. A prave proto se ptam jak na to. Vsude mi google tvrdi, ze to jde a jak je to super, ale nikde jsem se nedocetl konkretne jak to udelat!

[jm]

Jak si to prosimvas predstavujete??? :-O Samozrejme ze to jde, ale tak, ze vytvorim 2x RAID-0 ze 3 disku a z tech dvou poli vytvorim RAID 1 (jedno RAID-0 pole se bude mirrorovat na druhe). Vami navrhovany postup me teda v zivote nenapadl a nechapu, jak by to melo fungovat.

[Martin Dvorak]

Funguje alespon u HW radicu naprosto bezne a oproti 0+1 ma zasadni vyhody: 1. pravdepodobnost kolpasu pole pri vypadku dvou disku je vyrazne nizsi 2. Pri vypadku jednoho disku pole NEPRECHAZI do degradovaneho rezimu a udrzuje stalou rychlost zapisu a jen nepatrne nizsi rychlost cteni. O Soft RAID 1+0 (aneb stripu mirroru) se toho da vygooglit sposta, jen ne konkretni navod na sprovozneni - alespon me se to nedari. A byl bych moc rad, pokud mi nekdo poradi. BTW. bez ohledu na to, ze Vase reseni bych asi nepouzil, muzete mi popsat jak vytvorit RAID 1 nad dvema RAIDy 0? On ten postup bude zjevne analogicky...

[jm]

/etc/raidtab:

raiddev /dev/md2
        raid-level      1
        nr-raid-disks   2
        nr-spare-disks  0
        persistent-superblock 1
        device          /dev/md0
        raid-disk       0
        device          /dev/md1
        raid-disk       1

Vytvoreni RAID-1: mkraid /dev/md2

Takhle vam to nefunguje?

[Martin Dvorak]

Jeste jsem nezkousel, nebot jsem chtel, aby pole bylo bootovaci (tj. autodetect pro kernel). Ale uz jsem pochopil, ze to asi nelze a pouiziju Vasi konfiguraci a budu mit extra misto pro /boot. Dekuji za Vas cas. Mejte se. MD

[jm]

Autodetect ma na starosti ten persistent superblock.

[Martin Dvorak]

Jo, to jsem se take docetl. Ale u soucasneho serveru s RAID 5 jsem pred ostrym nasazenim delali pokusy a zjistili jsme nasledujici:

1. pokud jako cleny pole dame /dev/hda az /dev/hdg (cela zarizeni)tak bez ohledu na "persistent superblock" pole NEBYLO autodetect a muselo se pri zmene systemu startovat pomoci "raidstart" a "raidtab".

2. pokud jako clenove pole byly /dev/hda1 az /dev/hdg1 (partice), kde jednotlive partice mely nastaveny typ fd (raid autodetect), tak autodetekce perfektne fungovala a bez ohledu na to, z ceho jsme nabootovali, tak kernel nahodil pole...

[czf]

nedela se nejdrive 0 a pak 1 ?

[Martin Dvorak]

Jo tomu asi rozumim. Ale me by se moc hodilo - kvuli mistu a zejmena TEPLU - mit v tom stroji jenom onech zminovanych 6 disku - i tak hrejou ostoset... Nejaky cas jeste mam. Stary server funguje prave presne 4,5 roku a od noveho ocekavam totez, takze rad mu venuji o par dni vice a za jeho zivota o nem nebudu vedet.

[czf]

boot: u pocitacu plati, ze co je algoritmicke, to lze udelat, takze bootovani z raidu urcite lze vyrobit, ale neni lepsi pouzivat _standardni_ postup? Prece jen, raid chces asi proto, ze bys rad, aby to prezilo vypadek nejakeho toho disku a ne abys z nej "mohl bootovat". Jedine, ze by sis chtel pohrat, coz (zda se) neni tento pripad. Ze by te bolelo vyclenit 100M z tve kapacity na /boot? Pak by ti nebylo pomoci :)

[Martin Dvorak]

Chapu kam mirite a dekuji za radu. 100MB pro /boot na dvou discich (kdyz jeden zdechne) urcite vyhradim a vyresim tim bootovani. Jak ale setavim to pole?. Rekneme, ze mam 3 funkcni RAID 1. Mam potom udelat RAID 0 primo z tech deviceu (hrozne slovo) a nepokouset se na nich udelat partice?

[czf]

Ja bych cekal (ale nevim to:), ze 1 + 0 neni cesta. Zkus 0 + 1 a poreferuj. Navic, zda se mi:), ze mit 1 stripe ze 3 dvojdiskovych mirroru je vykonove horsi nez mit 1 mirror ze 2 trojdiskovych stripu.

[Martin Dvorak]

Ja bych presto radsi 1+0, duvody viz me predchozi prispevky (odolnost, vykon pri vypadku jednoho disku). Zadruhe: nevim, jestli by v "plnem klusu" bylo rychlejsi 1+0, nebo 0+1, ale tam je stejne limitem pomala PCI sbernice (133 MB/s). Uz pri spojeni dvou disku jako RAID 0 se dostavam blizko limitu a ctu a zapisuju lokalne cca 112 MB/s. Se tremi disky v RAID 0 jsem se dostal jen o malinko vyse cca 118 MB/s, se ctrymi disky totez. Takze velky rozdil ve vykonu to asi nebude.

[czf]

Neznam povahu provozovane aplikace, ale tyhle rychlosti prenosu jsou napr. u databazi k nicemu. Zasadni bych rekl je, ze se o vsechno stara procesor a ze disky pomalu hejbou hlavou - tim padem at uz 0+1 ci 1+0, rychlost prenosu PCI busu nebude limituijcim faktorem (u databaze). To jsem nekolikrat zkousel. S odolnosti ovsem souhlas.

[Martin Dvorak]

Je to prosty fileserver, na ktery ukladame obrazky a videa a z toho troje s nimi i pracujeme. Cili procesor se nudi (ridi pole a sitovou komunikaci) a radic, disky a sitovky drou, az se z nich kouri.

[Hynek (Pichi) Vychodil]

Cože? Že ne pro databáze? No to by ses divil co při full scanu s MySQL jde ze systemu vymačkat. Při dnešním HW je často rychlejší udělat full scan než to brát přes indexy a pak rychlý disk poznáš. Když k tomu máš dost CPU (i do počtu ) tak se ani disk nefláká. Moje zkušenost říká, že i disky mají svou váhu. Spíš jsi chtěl říct, že v transakčních systémech to nemá smysl, ale nejsou databáze jako databáze a jsou oblasti (do kterých shodou okolností dělám), kde jseš vděčný za každý prd navíc. Sice jede CPU na 100%, disky na 100% ale pobiješ se sestavou za 100kKč sestavu za xMKč o řád! Jsou to specializované úlohy, ale nikdy neříkej nikdy. To ti tam pak nesmí do toho hrábnout jiná aplikace aby to bylo všechno sekvenční čtení a podobné radosti. Tam fakt uvažuješ o 0, nebo 1+0 a 0+1 variantách, zajímá tě třeba pouze čtení a zápis je ti fuk a pod. a to všechno s databází.

[czf]

Netusim o cem mluvis. Rikal jsem, ze pokud provozujes databazi a mas IDE pole, PCI neni uzke misto. Je uplne jedno, jestli cpu ceka az dojedou hlavy za PCI busem nebo za super-hyper-XYZ busem. Ale urcite lze vymyslet ulohu, kde 386 s ISA busem pobije opteron s PCI-X

[Hynek (Pichi) Vychodil]

Neznam povahu provozovane aplikace, ale tyhle rychlosti prenosu jsou napr. u databazi k nicemu. = to je na co jsem reagoval já. No a o pobití jsem hovořil právě mezi lepší PC server (třeba i ten opteron) a třeba server se 6 procesory Alpha s nějakým skutečným UNIXem No nebudu to rozmazávat

[czf]

No ale tyhle rychlosti _JSOU_ u db k nicemu. Databaze nejsou jednouzivatelske, ze.

[Hynek (Pichi) Vychodil]

Já jsem něco psal o jedno/výce-uživatelských databázích. Marně takovou zmínku hledám. Když dokážu z toho stroje vymáčknout maximum tak, že CPU i disky jedou na 100% tak je blbost tam dávat pomalejší disky, protože pak se mi bude CPU flákat a dostanu výsledek později (za stejnou cenu železa). To jsou základní axiomy bez ohledu na jedno/výce-uživatelské prostředí a bez ohledu na to jestli to jsou db nebo nejsou. Vy jste patrně trotl, že? Takže konec diskuse. nemá to smysl, když nedokážete pochopit tak základní věc, že když si tam udělám úzké hrdlo, tak je to prostě úzké hrdlo.

[jm]

Ale no tak klid...

P.S. výce - Poslechni Boris, jak ty mohla udelat takofa Fehler, poslechla jak to mekce zni - vyyyyyytr.

[czf]

aha, vse je jasne

[Hynek (Pichi) Vychodil]

Jo, primo z tech device To znamena, ze pak musis to pole "rucne" nahodit v initrd, nebo v nejakem jinem mini root prostredi.

[Martin Dvorak]

Dekuji! Pochopil jsem, ze to je jedina schudna cesta. Udelame, sprovoznime, oslavime. Jeste jednou dekuji vsem za rady. MD

[czf]

Pokud se nepletu, /boot nemuze byt nez normalni nebo zrcadlo (takze 0+1 lze mit / ale ne /boot)