Dotaz: Problem s hardware/software RAID

[Tombik]

Mam Supermicro (www.supermicro.com) server 5016T-MTFB so zakladnou doskou Super X8STi-F (http://www.supermicro.com/products/system/1U/5016/SYS-5016T-MTF.cfm).

Su tam dva SATA 1,5TB disky. Doska ma integrovany hardware RAID od Intelu a od Adaptecu (v BIOS-e je mozne vybrat ktory ma byt aktivny a ci vobec ma byt nejaky aktivny). Bez ohladu na to ci je RAID (od Intelu alebo Adaptecu) zapnuty v BIOS-e, tak pri kazdom bootovani systemu sa zavedie aj LSI MegaRAID Software Controller.

Je normalne ze v BIOS-e nevidim ziadny zo SATA diskov? Software ktorym by sa pri bootovani mal dat nastavit RAID od Adaptecu vobec nevidi ziadny z pripojenych SATA diskov a ked v BIOS-e zapnem ten od Intelu tak ten sa pri bootovani ani nezapne.

Vzdy sa ale zapne LSI MegaRAID. Popravde ked pri bootovani zapnem software pre LSI MegaRAID tak jedine tu vidim tie 2 pripojene 1,5 TB SATA disky a ked v tejto aplikacii ich dam do RAID 1 (alebo akehokolvek ineho raidu) tak sa tym vytvori virtualny disk. Ked potom rebootnem system tak iba tento virtualny disk je vidiet v BIOS-e.

Problem je ze s tymto virtualnym diskom (teda RAID-om vytvorenym pomocou LSI Logic MegaRAID) ma problem linux ktory sa tam snazim nahodit. Najprv som tam skusal dat Slackware64 13.0, potom aj Slackware 12.2. Nepodarilo sa mi to, tak dnes som skusil aj najnovsie Gentoo kedze to ma v instalacii lepsiu podporu pre tieto software RAID-y i fakeRAID kedze obsahu aj dmraid o ktorom som sa docital ze by si mal poradit aj s LSI Logic MegaRAID. Bohuzial dmraid mi hlasi No block device found alebo nieco podobne.

Ako to mam spravit tak aby boli tieto SATA disky vidiet normalne v BIOS-e a tym padom i inde??? Myslel som ze LSI MegaRAID controller bude v podobe nejakej karty v servery, ale nic take som tam nenasiel a netusim ako ten MegaRAID vypnut.

Ja som uz naozaj zufaly. Stravil som nad tym cele Vianoce a teraz aj Sylvestra. Musim to spravit cim skor lebo mi uz hori za zadkom a neviem ako z toho von. Ak by Vas cokolvek napadlo tak Vam budem velmi vdacny ak mi nieco poradite.

Dakujem

Odpovědi

[gtz]

No proč jste zakládal nové vlákno stačilo to tam dopsat do toho staršího :)

Takže

Když disky nebudou mirror budou jen jako disk - vidíte je v BIOSU ? Intel používá LSI jako svůj nějaký mezimůstek - prostě správu jednodušše. Adaptec RAID nechápu o něm tam není ani zmínka a SM jej nepoužívá ? S tímto 1U jsem měl již kolikrát co dočinění a fungovalo to na 1x click. U intel biosu je ten problém, že jedno nastavení ovlivní druhé, po nějakém nastavení se MUSI provádět vždy reboot.

Pokud to nemám před sebou nějak si neupamatuji jak Bios v SM je nastaven, ale doporučoval bych před "xxx" experimenty bud vrátit BIOS do defaultu třeba aspoň uvidíte disky - popř. flashnout bios na novější.

Intel má někde nastavení mode compatibility .. to je pro řadič. Někde tam tuším musím ještě být nějaké nastavení raidu u postu ( CTRL+E, CTRL+G , novější desky CTRL+I pi zapnutém RAID-modu v Biosu toto platí pro raid-adaptery. )

pokud je to nová deska s ICH10, může se stát, že neuvidíte disky pro mod "AHCI", AHCI je použito pro SATA a Intel s tím mám občas problém, ale v biosu disky musíte vidět. (opět doporučuju podívat se na nastavení, default setting, kam jsou vlastně napojeny SATA ? Deska má 6 portů, pozor musí být na 0+1,první vždy na 0 !!! )

Jak jsem Vám psal v příspěvku již dříve doporučoval bych se podívat na stránky LSI megaraid, a podívat se třeba na rcraidmon.

u LSI - podívat se na tu jejich aplikaci - přidat disky do VTL, uložit, a VTL inicializovat. Po inicializaci se Vám objeví správně, že máte VTL velké 1.5TB ?

Snad mě ještě něco napadne ... ("bolí mě stolička jako prase a nějak mi to moc nemyslí")

[Tombik]

Když disky nebudou mirror budou jen jako disk - vidíte je v BIOSU ?

Ne nevidim ich ani ked uplne zrusim RAID. Samozrejme ten RAID robim cez to LSI kam sa dostanem pri bootovani CTRL+M.

Pokud to nemám před sebou nějak si neupamatuji jak Bios v SM je nastaven, ale doporučoval bych před "xxx" experimenty bud vrátit BIOS do defaultu třeba aspoň uvidíte disky - popř. flashnout bios na novější.

Vcera som skusil vratit BIOS na default nastavenia. Bohuzial disky vtedy nie su vidiet.

Intel má někde nastavení mode compatibility .. to je pro řadič.

Skusim zapnut mode compatibility a dam vam vediet ci som potom tie disky konecne videl

pokud je to nová deska s ICH10, může se stát, že neuvidíte disky pro mod "AHCI", AHCI je použito pro SATA a Intel s tím mám občas problém, ale v biosu disky musíte vidět.

Ano v modu AHCI disky taktiez nie su vidiet, vcera som to skusal. V BIOS-e tie disky naozaj nevidim, vidim iba DVD mechaniku.

(opět doporučuju podívat se na nastavení, default setting, kam jsou vlastně napojeny SATA ? Deska má 6 portů, pozor musí být na 0+1,první vždy na 0 !!! )

Tym 0+1 myslite ze prvy SATA disk ma byt zapojeny v 0-tem portu a druhy v prvem portu? Server nam uz bol doruceny komplet zmontovany. Nie som si isty ci nahodou v 0-tem portu neni zapojena ta DVD mechanika i ked myslim ze to by malo byt v poriadku. Mozem to skusit poprepajat, teda ak tie disk neuvidim ani v tom compatibility mode.

Jak jsem Vám psal v příspěvku již dříve doporučoval bych se podívat na stránky LSI megaraid, a podívat se třeba na rcraidmon.

Toto som neskusal, lebo ani tie linky co su uvedene v tom postupe tak nefunguju. Este pripomeniem ze pri bootovani ci uz Slackware alebo Gentoo sa mi vzdy vytvori /dev/megadev0 ale tym to konci. Ked pouzijem dmraid -ay tak by sa mal namapovat ten virtualny RAID disk do /dev/mapper/ ale dmraid iba vypise chybovu hlasku "no block device found" a hotovo... takze tu zrejme ziadne software utilitky nepomozu, nie pokial neuvidim tie disky v BIOS-e.

u LSI - podívat se na tu jejich aplikaci - přidat disky do VTL, uložit, a VTL inicializovat. Po inicializaci se Vám objeví správně, že máte VTL velké 1.5TB ?

Toto som skusal nespocetne vela krat. Funguje to uplne normalne. Ak pouzijem RAID 1 tak spravne pise ze VTL je 1.5TB velke ak pouzijem napriklad RAID 0 tak je VTL 3 TB co je zase spravne. Vzdy to inicializujem. Pri bootovani mi to vzdy napise ze je vsetko spravne a ze je to ONLINE.

Snad mě ještě něco napadne ... ("bolí mě stolička jako prase a nějak mi to moc nemyslí")

Diky za pomoc, ze sa tu so mnou trapite aj ked mate tazkosti. S tymi tazkostami so zubami si mozeme "podat ruky". Mna boli vlavo dole stolicka uz druhy tyzden, zubar si s tym nevie poradit :( hlavne ze ho mam cely rozvrtany. Aj teraz ma z toho zase boli hlava. Hlavne ze kazdy den som do polnoci v tej serverovni.

Nebyt Vas tak uz som asi uplne v koncoch... precital som snad vsetky fora co iba zavadili o podobnu tematiku, manual k tomu serveru viem snad uz naspamet, vyskusal som vsetko mozne pomenit v BIOS-e. Vcera som v BIOS-e nastavil take podivne hodnoty ze pri bootovani sa sam restartoval a nedalo sa dostat ani do BIOS-u ani do tej configuration utility pre ten LSI megaRAID :) jednoducho sa stale dookola restartoval :)

Dam Vam potom vediet ci som nejako pokrocil. Este raz vrele dik

[gtz]

Zdravím, doporučuju mode compatibility, v tom modu jsou vidět disky ( aspoň na minulých systémech )

Koukněte se kde máte disky ( ICH řadiče jsou pitomé a některé modely vyžadují, aby disky byly na 0-tém portu )

Podpora ICH10 je celkem dost divoká, měl jsem s ním problémy na Suse Serveru, nakonec se mi to přes nějaký suse patch podařilo zprovoznit.

LSI megaraid je používáný Intelem skoro standardně - ( předpokládám máte raid-unlocked - intel řadiče chtějí pro R5 aktivační kod ), ale snad ano.

Opravdu si myslím, že bude problém někde v nějakém loaderu - /dev/mapper popř. /dev/megaraid - nevidí vše co by měl vidět.

Zkuste prosím CentOS LIVE centos live tato distribuce má integrované drivery - za test to stojí.

Popř. zapátrejte na LSI webu popř. na SM webu zda tam mají drivery pro lInux. megaraid omlouvám se linky jsou již směřovány někam na LSI... chce to hledat

Třeba si ještě na něco vzpomenu, ale každopádně Mode compatibility snad aspoň uvidíte disky :)

Na pohotovost já nejdu jsou tam strašní rasi a počkám na naší paní doktorku

[Tombik]

Ten CentOS urcite vyskusam. Neuveritelne ale ani v rezimu compatibility nie su vidiet tie SATA disky!! A co som si vsimol tak ked v tom LSI MegaRAID vytvorim nejaky virtualny raid disk tak v BIOS-e je vidiet ako SCSI disk. Je to normalne?

[gtz]

Mod Compatibility znamená, že se k diskům přistupuje po staré úrovni, ale nesmí být nastaven RAID MOD, ale AHCI/IDE, aby jste jej viděl. Ano VTL je vidět jako /dev/sr , no spíše by měl vidět v Linuxu jako /dev/sdXX

[gtz]

Dle manuálu :

SATA#1 Configuration
If Compatible is selected, it sets SATA#1 to legacy compatibility mode, while se-
lecting Enhanced sets SATA#1 to native SATA mode. The options are Disabled,
Compatible, Enhanced.
    Configure SATA#1 as
    This feature allows the user to select the drive type for SATA#1. The options
    are IDE, RAID and AHCI.  RAID bych volil
    ICH RAID CodeBase (Available if RAID is selected above)
    Select Intel to enable the Intel SATA Host RAID Utility. Select Adaptec to use the
    Adaptec Host RAID Utility. The options are Intel and Adaptec. INTEL zvolit
    Max Ports on SATA#1 (Available if either RAID or AHCI is enabled under
    "Configure SATA#1 as" above)
    This feature specifies how many ports are active on SATA #1. The options are
    4 Ports and 6 Ports.

Zvolte INTEL nic jiného, v první případě bych se podíval jaký význam mají volby ("enhanced a compatible") Compatible měl by jste vidět disky v biosu po rebootu. Trošku zaexperimentujte s těmito volbami.

Dejte vědet jak jste dopadl

[AraxoN]

Namiesto fake RAID-u na doske, či na nejakej šmejdovej karte radšej použi SW RAID v linuxovom jadre. Ver mi, prešiel som si tým, čo ty teraz, stratil kopu času a nervov, a toto je nakoniec najlepšie riešenie.

[gtz]

SM má integrovaný ICH RAID od Intelu, používá k tomu LSI utility. prostě Intel tam se musí čarovat .

On neví jak ty disky vůbec zapnout a vidět ... proto jsem mu psal, co by "měl" udělat.

Já používám hlavně Arecca nebo 3WARE k plné spokojenosti.

[Tombik]

Myslim ze nabuduce odporucim vedeniu nech zakupi radsej 3WARE alebo Arecca... uvidime

[AraxoN]

Jo tak... tak to som zle pochopil. Zatiaľ sa mi vždy podarilo tieto v úvodzovkách "RAID-y" presvedčiť aby sa o nič nepokúšali a len mi sprístupnili tie disky. Netušil som, že niektoré sú tak zlé, že aj to môže byť problém.

S normálnymi HW RAID radičmi mám zatiaľ skúsenosti len s HP SmartArray a Adaptec AACRAID, tie fungujú v linuxe skvele. Momentálne je objednaný nový server s radičom AMCC/3WARE, tak som zvedavý ako to pôjde s ním. Postnem potom do HW sekcie...

[gtz]

:) 3WARE, ARECCA , Adaptec , HP smart Array fungují jak mají na první pokus. Ale to jsou jiné třídy zařízení. 4p Arecca nebo 3WARE stojí o hodně více než integrovaný RAID od INTELU.

I tyto řadiče od Intelu ( LSI ) fungovaly vždy tak jak měly, tak netuším co se mu tam děje, že nic nefunguje. Snad se to podaří dat dohromady.

Jako vždy bude to v nějaké ptákowině.

[AraxoN]

U toho Adaptecu to nie je vždy isté - vyrába aj "entry-level" (čítaj "fake") RAID-y. Treba byť preto ostražitý a pred nákupom pohľadať na internete, či ostatní linuxáci sú s daným modelom spokojní, alebo soptia síru. Okrem toho ešte vždy pozerám, či sú ovládače priamo v hlavnej vetve jadra, alebo je nutné ich doinštalovať zvlášť. Našťastie dnes už je z čoho vyberať.

[gtz]

za mne to nebývalo, byly jen PROMISE,3WARE a pak se objevila ARECCA. Adaptec byl pouze SCSI pak i iSCSI. Vím, že low-end dělají, ale nějak se jim vyhýbám.

Dělám Storage a NAS+DAS již skoro 10 let a již jsem si s takovými kartami vytrpěl své.

[gtz]

Disky třeba zase z 3WARE ESCALADE 8000 nejsou compatibilní v 9000 řadě. Dáte čuchnout SATA přes 3WARE 9000 a již v 8000 máte smůlu. Trochu více špeků u 3WARE než u ARECCA. Nyní jsou již nové modely a tyto starší jsou již jen v doprodejích a starších zařízeních.

Já už jsem se poučil a když je nutnost raději použiji nějaký 1U od HP/SUN a k němu přes FC nějaké byť i malé pole. Cenově to vychází o něco výše, ale spolehlivost je vždy lepší. Pokud musím použít 1U tak si nechám SM/INTEL poskládat na míru včetně zahoření a 3-letého NBD.

[NN]

Skuste take Debian a poradne procis manualy k serveru..

NN

[Tombik]

Manualy mam nastudovane odpredu i odzadu. Skusal som Gentoo a tu sa mozete docitat ze gentoo ma v tomto naozaj dobru podporu. Pri bootovani sa mi nacitaju vsetky potrebne megaraid moduly a je tam k dispozicii i dmraid ktory je urceny na software raid. Bohuzial nepomohlo to. Ono to bude zrejme v nejakom nastaveni v BIOS-e mozno ho skusim preflashovat. Debian tu asi nepomoze...

dik

[gtz]

Za zkoušku by ještě stálo udělat na těch discích dva mirrory. ( na každém disku 2 partice ) a vidělo by se co se změní v dmesg. Některé OS ( fdisk a cfdisk u některých dister ) mají problémy s FS-SIZE > 1TB a musí se pak jít přes GPT.

[Tombik]

Kebyze sa mi podari zviditelnit tie disky pre BIOS tak by som na nich mohol skusit spravit tie 2 particie, lenze takto tam tie particie nemam ako vytvorit... V linuxe ked spustim cfdisk /dev/megadev0 tak mi skonci s chybovou hlaskou "Cannot get disk size" cize moze to byt aj tym ze ma problem s FS-SIZE > 1TB.

Co ste presne mysleli tym ze sa musi ist cez GPT? Nenapada ma co ta skratka znamena :)

Skusim ten CentOS ale az na novy rok. Mam aj ine povinnosti okrem tohoto a k tomuto sa dnes uz zial nedostanem. Aj ten vypis z dmesg Vam poslem az po novom roku. Skusim este zapatrat na strankach LSI i SM. Mozno som nieco prehliadol...

Diky moc

[gtz]

GUID Partition Table (GPT) přístup k diskům. šlo o přístup pro větší pole než jsou 2TB. Ale snad to nebude Váš případ. U některých distribucí jsem s tím měl právě na intelu problém. Ale novější kernely již GPT tabulky zvládají v pohodě.

Každý slušný správce RAIDu HW umí použít Mirror-Strip velikost jakou potřebujete. Nevím zda toto Intel umí, zda umí přidat třeba jen 1/2 disku do jednoho mirroru. Ideální by bylo kdyby na tom disku byly partice již předem ( strčím je kamkoliv udělám tam 2 partice na obou stejné a to použiji ), i kdybych neměl Linux použiji nějaký USB-SATA převodník a klidně přes Widle tam udělám 2 x partice. Po tom bych chtěl vidět co se stane. Normálně lze udělat to, že si nadefinuji 1xVTL v kterém je 1/2 prvního a 1/2 druhého disku pro systém a zbytek druhý mirror na data.

Pak po NR mi postněte aspoň ten dmesg

Jinak přeji příjemný Nový rok a hodně štestí do nového

[gtz]

Můžete mi sem postnout výpiz s dmesgu ? Snad mně něco napadne ... pak bych se na to odpoledne podíval

[NN]

A co se na ten HW raid proste bodnout..

NN

[gtz]

A o co se tu snažíme ? dát dohromady aspon to ,aby to nějak fungovalo. Je to šance ,ale zatím on neví jak se na ten HW vyprdnout ...