Administrace komentářů

Ten řadič má dávat cca 100-150 MBps sekvenční průchodnost (při přístupu na holé blokové zařízení, tj. bez vlivu filesystému).

Nedokážu si představit, co by mohlo na PCI Expresu způsobit takové zpomalení. I pokud by se sběrnice dohodla na šířce x1, pořád je tam 250 MBps full duplex. Problémy s DMA a IRQ to teoreticky být mohou, pokud by byl čipset nějak správně vadný - ale pokud by PCI DMA nebo IRQ vůbec nefungovaly, sypalo by to chyby, resp. by server vůbec nenastartoval, boot jádra by skončil kernel panicem (pokud se bootuje z jiného systémového disku). (Rozhodně se nejedná o vypnuté ATA UDMA a nějaké banální ISA IRQ konflikty, bavíme se o PCI Express a U320 SCSI).

Eventuelně by to mohl být nějaký problém s routováním IRQček přes ACPI. Kdyby nějaké nesouvisející zařízení sdílelo IRQ s RAIDem a generovalo by neobsloužené interrupty, takže by byl systém přetížený obsluhou interruptů... není pro ten board k dispozici čerstvější BIOS? Nehlásí kernel při bootu, že škrtí nějaké splašené IRQ vstupy? Zkuste při bootu přidat v bootloaderu za jméno kernelu ještě parametr irqpoll, to by mohlo pomoci. Pokud to pomůže, máte problém s IRQčkama přes ACPI. V této souvislosti, zkuste si v BIOSu zkontrolovat, že máte onboard SATA řadič (v rámci ICH) přepnutý do řežimu "Enhanced mode", tj. jsou vidět jak IDE tak SATA kanály hezky za sebou... už jsem zažil, že "combined mode" dělal binec v ACPI interruptech.

Co máte za verzi kernelu?

Zkoušel jste koukat do BIOSu toho RAIDu, nebo stáhnout a spustit MegaMGR? Nebo vám to zatím nějak jede, tak jenom koukáte do /var/log/messages, že tam nejsou žádné chybové hlášky? Nebliká server failure ledkou u některého disku, nepiští na RAIDu alarm?

Co hlásí BIOS při bootu? Napočítá správně procesory a nahlásí hodinovou frekvenci? Kolik bogomipsů obenchmarkuje při startu Linux? Pokud je to server s Xeonama (tipuju čipset i7520), bude obsahovat ECC paměti. Když mrknete do BIOSu do System Event Logu (pokud stroj takovou věc má) nejsou tam nějaké hlášky od paměťového řadiče?

Nemáte uvolněný/nepodmazaný chladič na procesoru? Některé motherboardy (a ostatně i Linux sám) umí omezovat hodinovou frekvenci při přehřátí. Přesto si nedokážu představit, jak by se to mohlo takhle zpomalit, to podřazení je řádově na 50%, a linux to oznámí do logu a motherboard většinou rozsvítí alarmovou kontrolku přehřátí.

Pokud je tohle všechno v pořádku, napadá mě: zkuste vrazit RAIDový řadič do nějakého jiného boardu a pustit to jenom tak rozložené na stole, kolik to pojede. Jako jiný board potřebujete něco s PCIe x8 nebo x16 (je ten RAID x8, ne?). Může posloužit třeba i nějaký desktopový s PCIe x16 slotem pro grafiku (a se starožitnou grafikou v PCI slotu, nebo s integrovanou onboard grafikou). Pokud to bude dávat v úplně jiném boardu rozumné hodnoty, je ten podezřelý board skutečně nějak nemocný. (Proč Vám vlastně měnili board?)

Pro zběžnou kontrolu průchodnosti bych doporučil třeba cp /dev/sda /dev/null a koukat na to z druhé konzoly iostatem z balíku "sysstat". Zápis nedestruktivně nevyzkoušíte. Jako test přes filesystém můžete použít třeba Bonnie/Bonnie++, část benchmarku běží v sekvenčním režimu a její výsledky jsou hlášeny samostatně.

Další věc: zkuste si připojit disky na obyčený SCSI HBA do nějakého jiného živého Linuxu. Dejte pozor ať na disky nic nezapíšete. Stáhněte si scsiinfo a zkuste ze všech disků vytahat "grown defects list" - tuším scsiinfo -d . Grown defects list by měl být prázdný. Pokud není, disk má problém. Disk s velkým počtem relokovaných sektorů je často hodně pomalý. Pokud je v RAIDu, tak třeba reaguje na příkazy, ale pomalu, a zbytek RAIDu tak brzdí. Nejhorší jsou disky, které mají "grown defects list" prázdný (nebo SMART error log), při čtení se tváří dobře, ale při zápisu začnou házet fatální chyby (ale to by RAID řval hodně nahlas). Ostatně už jenom kolísající rychlost sekvenčního zápisu signalizuje nemocný disk, i když jinak je všechno OK. Bohužel zápis nelze otestovat jinak než destruktivně (pokud se týče dat).

BTW, nezmrvili Vám při té výměně motherboardu SCSI sběrnici? Kabely, terminátory... Už jsem několikrát viděl zohýbané nožičky v konektorech HD68 a VHDCI. Taky to může být jenom povytažený kabel. LSIčka dokážou ustát leccos, a to tím způsobem, že provedou fallback na nižší SCSI rychlost. A moc nahlas při tom nenadávají. Vámi zmiňovaná rychlost by řádově odpovídala základnímu synchronnímu narrow SCSI, asynchronní režimy jsou ještě pomalejší.

Jak jste vlastně testovali rychlost? Zkoušeli jste to na lokále, nesoudíte jenom podle síťové průchodnosti? Nemáte link spojený na 10/half, špatně proti sobě full/half, nebo nějaký binec kus dál v Ethernetu? Tady poskytne základní přehled ethtool/miitool (a login na příslušný switch) plus lokální test průchodnosti.

Ještě mě napadá, že novější LSIčka mají BIOS (resp. už jenom "WebBIOS"), který bez bateriové zálohy neumožní povolit write-back cache. Takže 128MB cache RAIDu jede v režimu write-through, což může kapku brzdit. Ale to zpomalení se projeví jenom při větší zátěži, drobných transakcích, více uživatelích. A řekněme na půlku, ne na dvacetinu. Zapnout se to dá přes linuxový MegaMGR.