Dotaz: Doporučte server

[Markus]

Ahoj, doporučte prosím server který má integrovanou vzdálenou správu (vga+klavesnice) nebo interní zařízeni k jakemukoliv serveru.

Děkuji PS: potřebuji se dostat i do BIOSU

Odpovědi

[Sten]

Interní? To jsem v ČR neviděl, ale existuje to, stačí hledat „kvm over ip pci“, třeba tohle za 500 USD. Jinak spíš doporučuji hosting, který nabízí KVM-over-IP

[Markus]

To nahrazuje sitovou kartu nebo potrebuji dve IP?

Díky

[Sten]

Potřebujete druhou IP adresu nebo modem.

[frEon]

interni kvm maji dneska i supermicra ( http://www.supermicro.com/products/accessories/addon/aoc-ipmi20-e.cfm ), coz jsou ty nejlevnejsi mr*ky...

[kyytaM]

No po skusenostiach z roznymi servermi HP (od DL380 cez Blade) a ich udivuhodnym akoze 4h supportom mozem jedine povedat, ze zlate SuperMicro.

[Markus]

A co to je za kartu? Jak to funguje to nema ani konektor rj45..

Díky

[frr]

IPMI/AMT karty SuperMicro fungují všelijak. Hlavně bacha, některé mají kompletní IP KVM a některé nikoli (mají třeba jenom Serial-Over-LAN), a pozor na vzájemnou kompatibilitu s různými motherboardy. Pokud IPMI karta nemá vlastní Eth port, tak obvykle "parazituje" na nějaké onboard intelí síťovce (má k ní své vlastní "sideband" dráty a Intelka pro IPMI kartu umí filtrovat provoz). Viděl jsem tuším i variantu, že IPMI karta měla svůj dedicated ethernet, který byl vyvedený jako další port na motherboardu (=bez IPMI karty mrtvý). IPMI BMC parazitující na intelské onboard síťovce může mít svou vlastní MAC adresu, nebo sdílí MAC adresu s hostitelem. Může mít svou vlastní IP adresu, nebo sdílí IP adresu s hostitelem. Tyhle nuance bývají mizerně dokumentovány a taky to často mizerně funguje (tj. občas to nefunguje a nevíte proč, musíte sniffovat abyste zjistil aspoň něco atd). Osobně dávám přednost plnohodnotným stand-alone IP KVM kartám, které mají svoji vlastní dedicated síťovku a používají HTTP over TCP, spíš než IPMI prasoprotokoly over UDP - do téhle kategorie patří třeba zmíněný Peppercon/Raritan Eric.

[Markus]

Děkuji za vycerpavajici informace, ale pokud se rozhodnu pro plnohodnotnou stand-alone IP KVM kartu tak budu muset platit na serverhostingu dvě připojení k internetu? Chápu to dobře? Děkuji

[frr]

To je spíš obchodní dotaz na Váš serverhosting Technicky vzato máte na výběr:

• využít IP KVM provozovaný hostingovým centrem
• použít nějakou IP KVM nebo lepší IPMI kartu, která bude mít svou vlastní IP adresu = můžete se zkusit domluvit s hostingem na slevě, protože to IPčko bude mít mizivý objem provozu
• pokusíte se poskládat sestavu, patrně na bázi IPMI, kde IPMI BMC je schopen parazitovat na onboard LANce do té míry, že si umí odchytávat svůj provoz až po L3/4/5 = používat tutéž MAC a IP adresu jako hostitel, ale ukrást si přímo v síťovce svoje UDP a TCP porty a snad i ICMP provoz, aniž by o tom hostitelský TCP/IP stack měl tušení. Není vyloučeno, že konkrétní verze driveru e1000 Vám po naběhnutí OS "uřízne přístup" na BMC (típne parazitní komunikační kanál) - praktická zkušenost, pravda pár let stará. Pokud nemáte možnost "try before buy", tak si velmi pravděpodobně naběhnete.

[aquarius]

Ono to IPMI funguje malinko jinak... Pokud BMC sdili port se sitovkou, pak tam bude neco jako triportovej switch, kdy jeden port jde ven, jeden k sitovce a jeden k BMC. BMC pak ma jinou MAC adresu nez sitovka na tom portu. Na OS to nijak nezavisi. (ted tedy mluvim o zpusobu, jakym je to implementovany na Supermicro a Intel deskach)

[frr]

Mno. V rámci sebevzdělávání jsem se podíval, jak vypadá aktuální stav, abych pořád nepapouškoval informace z doby před X lety.

Jednak jsem našel pár PDFek u Intelu - řazeno cca sestupně podle zajímavosti:

Sideband Technology Overview
http://download.intel.com/design/network/applnots/321786.pdf Zmiňuje 4 generace "sideband kanálu": SMBus 1, SMBus 2, FML, NC-SI.

• SMBUS: 82573E/V
• SMBUS + FML: 82563EB=ESB2,82571
• SMBUS + NC-SI: 82574*, 82575EB
  Rozhraní NC-SI je standardizováno skupinou DMTF (Distributed Management Task Force), kde hlavním členem je překvapivě Intel. Fyzickou vrstvou je RMII (ořezané ale jinak staré známe MII s kapacitou 100 Mbps).

Původně se přes SMBus konfigurovaly filtry v zotročené síťovce, i se přenášel payload. V první generaci byl pevný UDP port a data dostával i hostitel, takže na ně někdy odpovídal nepěknými hláškami typu "ICMP unreachable" apod. Druhá generace (stále ještě s payloadem přes SMBus) už uměla filtrovat líp. V generaci 3 a 4 se po SMBusu konfigurují filtry, ale data už tečou přes rychlejší "parazitní rozhraní" určené výhradně pro payload. Poslední generace sidebandu už umí v hardwaru síťovky filtrovat IPV4 a IPV6.

Manageability appnote (82575EB)
http://download.intel.com/design/network/applnots/324631.pdf
(Mladší, ale méně výživná než výše uvedený přehled. Tato zmiňuje pouze SMBus/NC-SI.)

82575EB datasheet
http://download.intel.com/design/network/datashts/317697.pdf

82574 datasheet
http://download.intel.com/design/network/datashts/82574.pdf

82573E/V datasheet
ftp://download.intel.com/design/network/datashts/82573e_v.pdf

82571 datasheet
http://download.intel.com/design/network/datashts/82571eb_82572ei.pdf

82563EB datasheet
http://download.intel.com/design/network/datashts/82563_datasheet.pdf
(Ani slovo o FML? Možná v datasheetu k ESB2.)

A ještě jedno PDFko od DMTF:
DMTF PMCI (definuje NC-SI)
http://www.dmtf.org/sites/default/files/standards/documents/DSP2015.pdf

 

Trvám na tom, že ve scénáři "sdílená síťovka s parazitním sideband kanálem pro BMC" se ani u nejnovější generace hardwaru nejedná o plnohodnotný integrovaný switch - jedná se o filtr v RX směru a multiplexer v TX směru. Nejedná se o switch v tom smyslu, že by se automagicky učil MAC adresy a že by broadcastoval jak ven do sítě tak i dovnitř k primárnímu hostiteli.

 

Pokud se týče hardwaru SuperMicro, tak jsem zjistil, že parazitní komunikační kanál používá vlastně jenom jedna z asi osmi IPMI karet. Všechny ostatní mají dedicated RJ45 = svoji vlastní síťovku, o kterou se s nikým nedělí a kterou (doufám) neukazují operačnímu systému:
http://www.supermicro.com/products/accessories/addon/SIM.cfm
Pak samozřejmě odpadají problémy toho typu, že BMC a hostitel sdílejí/nesdílejí MAC/IP adresu. (Což ovšem někteří lidé mohli vnímat jako výhodu.)
Jinak nadále soudím, že klasické IPMI bez pořádného KVM over IP (TCP) je šunka, choulostivá na ztrátu jednotlivých UDP paketů, nevhodná pro vzdálenou správu přes WAN (včetně třeba protokolu SoL = Serial over LAN).

Některé kombinace SuperMicro motherboard + "IPMI karta" už KVM over IP umí. Úplně nejlepší zpráva ale je, že plnohodnotné (aspoň doufám) KVM over IP umí velká část motherboardů aktuální generace SuperMicro X8 a mají ho onboard. Jedná se modely, které mají na konci písmenko F:
http://www.supermicro.com/products/motherboard/matrix/index.cfm
Hardwarovou podstatou je čip (Winbond) Nuvoton WPCM450,
http://www.supermicro.com/products/nfo/IPMI.cfm
který má integrovánu entry-level PCI VGA grafiku od Matroxu. Její signál pouští jednak ven na VGA konektor, druhak umí obraz servírovat over IP. Je to vidět například v tomhle manuálu ke konkrétnímu motherboardu:
http://www.supermicro.com/manuals/motherboard/3420/MNL-1144.pdf
Na straně "1-10"(22) je blokové schéma, na straně "2-20"(47) je vidět seznam Eth portů na zadním panelu (hledejte č.5).
Tento konkrétní motherboard má vyhrazený eth. port pro BMC, implementovaný PHY čipem RTL8201, připojeným zřejmě přes RMII. Což je zajímavé v situaci, kdy na motherboardu jsou dále 2 až 4 síťovky Intel 82574L, které by měly podporovat sideband rozhraní NC-SI (=RMII).

Konec reklamy na Intel a SuperMicro...

[VSi]

Zajímavé shrnutí.

Já bych ještě dopnil, že tu máme nejen Intel a Supermicro. Každý "značkový" server (HP, FSC, DELL) má obvykle nějaké IPMI řešení.

Konkrétně mám zkušenost s několika generacemi a řadami HP serverů. HP tohle nazývá iLO (integrated lights out), a dnes už ho dávají i do entry-level serverů za 10k. Pozor na to, že ani u vyšších modelů není v základu plnohodnotné grafické KVM, to se aktivuje lic. klíčem cca za 6000 Kč.

Konkrétně u ML110 G6 je tzv. iLO-100, integrovaná síťovka je Broadcom BCM5723. Server má samostatné 100 Mb/s rozhraní pro management, ale v BIOSu lze nastavit sdílení hlavního portu pro management. I při sdílení má management rozhraní svojí MAC. V základu bez extra licence funguje správa napájení (restarty) a sériová konzole (přes ssh). Je tam HTTPS, SSH, telnet, ale šifrované varianty jsou dost pomalé. Navíc BIOS a pod. přes virtuální sériovou konzoli zlobí.

Pak tu mám DL385 G7, kde je tzv. iLO-3. Tam web nabízí více možností, je vidět aktuální spotřeba, podrobný log. Konzoli lze spustit z webu jako Java applet, nebo i .NET aplikaci. Bez licence grafická konzole funguje pro BIOS (resp. mimo OS) - nevím přesně, jak to detekuje. Po startu OS se odpojí během několika sekund. Co je dobrá funkce, je příkaz TEXTCONS (u starší řady HP to bylo REMCONS), který zpřístupní VGA konzoli, pokud je v textovém módu - toto funguje i se základní licencí, a pro linuxový stroj víc ani není potřeba.

[frr]

Ještě update, spíš na okraj: zjistil jsem, že novější desktopové (a mobilní) jednoprocesorové čipsety od Intelu mají AMT BMC zapečený on-chip. Začalo to nepříliš typickými variantami Q35+ICH9DO a Q45+ICH10DO (GMCH obsahuje MCU jádro ARC4 a vyžaduje konkrétní variantu ICH, která zajistí odpovídající síťovku se sideband schopnostmi), ale snad už všechny Q57 (a 3450) to obsahují taky, a to ve verzi AMT 6.0, která už obsahuje dokonce VNC server... to je maso. Zkuste zagooglit "AMT ARC4". Pár zajímavých odkazů:

http://en.wikipedia.org/wiki/Intel_AMT_versions

http://en.wikipedia.org/wiki/Intel_Active_Management_Technology

http://www.invisiblethingslab.com/resources/misc09/Quest%20To%20The%20Core%20%28public%29.pdf

[VSi]

Mám tu desku s Intel Q57 (Asus P7Q57-M DO). AMT obsahuje, povedlo se mi zprovoznit zatím jen web rozhraní, kde je možné udělat vypnutí/zapnutí/reset, jsou vidět sériová čísla apod. Ale VNC mi zatím nejde, i když by podle všeho mělo být podporováno (AMT 6.0). Nainstaloval jsem i nějaký Manageability Commander Tool od Intelu, a ten funguje podivně a u KVM ukazuje "Unsupported".

Je určitě dobré, že se takováhle funkce dostává i na základní desky za 2500 Kč.

[VSi]

Tak problém bude nejspíš v použitém CPU - Pentium G6950. AMT "Advanced" jehož součástí je KVM asi funguje jen s Core i5 a Core i7. To je od Intelu hezké, nikde to moc nepropagují. Snad zprovozním aspoň sériovou konzoli.

[frr]

To je zvláštní, čekal bych že KVM nepojede na variantách CPU (starší 45nm řada), které neobsahují on-chip grafiku. Pentium G6950 grafiku obsahuje. Vcelku to ale odpovídá mému dojmu z IPMI/AMT... (dokumentované to moc není a občas to má bugy).

[hw]

KVM funguje pouze s interní grafikou v CPU. Pokud používáte diskrétní grafickou kartu, máte smůlu.

[VSi]

Je tam ten Pentium G6950, má interní grafiku, a ta se používá. Ale nejde to - v Intel Manageabilitz Tool to ukazuje "KVM Unsupported", RealVNC píše "Insufficient permissions".

Moc jsem to už neřešil, přímo na webu Intelu jsem nebyl schopen nic najít. Ale tady: http://www.lenovoserver.cz/?page_id=34:

• Intel® Active Management Technology 6.0 (AMT™) dostupný s Intel® Core™ i5 procesory

• Standard Management dostupný s procesory Intel® Celeron®, Pentium® a Core™ i3

[frr]

Hehe... tak jsem to zkusil na nějaké starší noname desce s Q35+ICH9DO. AMT hlásilo verzi 3.2.1.xxxx. Musel jsem se někde dočíst, že default password do CTRL+P je "admin" a aby se člověk dostal dál, musí si zvolit nějaké silnější heslo (pomohl článek na ThinkWiki). Podařilo se mi rozjet HTTP ksicht, ale jenom při použití DHCP (statickou adresu si to odmítalo vzít) a ISC DHCPd tomu bůhvíproč dával každých pár minut jinou adresu (přestože MAC adresa seděla a přestože jindy dhcpd dává jednomu klientovi pořád dokola tu samou IPadresu). Záhada... Taky jsem zkusmo přišel na to, že implicitní login do HTTP je "admin" s tím heslem nastaveným v CTRL+P BIOSu... A dálkové ovládání přes "Manageability Commander" z intelského balíku "Manageability Development Toolkit" jevilo víceméně jenom základní známky života. Po ručním zadání IP adresy se podařil connect, dalo se zobrazit základní nastavení AMT BMC, ale SoL connect se bůhvíproč nedařil. Dokumentace od Intelu prakticky žádná. Od výrobce motherboardu podpora vůbec žádná (asi se styděl - soudě i podle toho, že neměl vyplněné údaje v DMI). => dohromady mrtvej brouk.

[Ivan]

Pokud ISC DHCP prideluje ruznou IP adresu, tak to ma vysvetleni. V DHCP requestu je i "client name". ISC DHCP prodlouzi lease pokud se shoduje MAC i "client name". Neni mozne ze ta vec posila v kazdem requestu jiny client name?

[frr]

Zajímavé. V logu DHCP se vypisovalo pořád stejné jméno = "test1", které jsem zadal v konfiguraci AMT jako jméno stroje. Čert ví, co tam bylo blbě...

[frEon]

podle manualu to pouziva sitovku na desce. jinak supermicro ma karet vic, i ty s vlastni sitovkou...

[razor]

Jestli to dobře chápu, tak by se ti mohlo hodit iLo. http://h18013.www1.hp.com/products/servers/management/remotemgmt.html?jumpid=servers/lights-out

[methuz]

Jakykoli novejsi IBM SystemX s IMM nebo starsi xSeries s RSA ;)

[Metalica]

Ubuntu