Dotaz: Server Supermicro Debian Bookworm, nedaří se nahodit 10Gb SFP fibre interface

[fatman]

Zdravím vás, prosím o pomoc, možná mně někdo posune k řešení, abych měl Link detected: yes na rozhraní karty? Síťová karta:

Ethernet controller: Intel Corporation 82599 10 Gigabit Network Connection (rev 01)

SFP pro tuto síťovou kartu mi doporučil jako kompatibilní prodejce serveru, ethtool -m enp1s0 vidí:

Transceiver type                          : 10G Ethernet: 10G Base-SR
Laser wavelength                          : 850nm
Vendor name                               : Intel Corp
Vendor PN                                 : FTLX8574D3BCV-I5

Zkompiloval jsem a zavedl ovladač:
https://downloadmirror.intel.com/856156/ixgbe-6.1.4.tar.gz
Protější strana je switch, SFP Linktel, taky 850nm. Po příkazu ip link set up dev enp1s0, se rozsvítí kontrolka portu na switchi:

show interfaces xe-0/2/2
Physical interface: xe-0/2/2, Enabled, Physical link is Up

Na serveru kontrolka portu nesvítí a ethtool říká Link detected: no.
Obě SFP jsou nové, multimod kabel taky. Když přechodím pořadí vláken, port na switchi se nerozsvítí.
modinfo ixgbe:

filename:       /lib/modules/6.1.0-37-amd64/updates/drivers/net/ethernet/intel/ixgbe/ixgbe.ko
version:        6.1.4
license:        GPL
description:    Intel(R) 10GbE PCI Express Linux Network Driver

dmesg:

ixgbe 0000:01:00.0 0000:01:00.0 (uninitialized): ixgbe_check_options: FCoE Offload feature enabled
ixgbe 0000:01:00.0 0000:01:00.0 (uninitialized): allow_unsupported_sfp Enabled
ixgbe 0000:01:00.0: Multiqueue Enabled: Rx Queue count = 8, Tx Queue count = 8 XDP Queue count = 0
ixgbe 0000:01:00.0: 32.000 Gb/s available PCIe bandwidth (5.0 GT/s PCIe x8 link)
ixgbe 0000:01:00.0 eth0: MAC: 2, PHY: 20, SFP+: 5, PBA No: 0210FF-0FF
ixgbe 0000:01:00.0: ac:1f:6b:ac:06:fa
ixgbe 0000:01:00.0 eth0: Enabled Features: RxQ: 8 TxQ: 8 FdirHash
ixgbe 0000:01:00.0 eth0: Intel(R) 10 Gigabit Network Connection
ixgbe 0000:01:00.0 enp1s0: renamed from eth0
ixgbe 0000:01:00.0: registered PHC device on enp1s0
ixgbe 0000:01:00.0 enp1s0: detected SFP+: 5
ixgbe 0000:01:00.0 enp1s0: detected SFP+: 5
ixgbe 0000:01:00.0: removed PHC on enp1s0
ixgbe 0000:01:00.0: registered PHC device on enp1s0
ixgbe 0000:01:00.0 enp1s0: detected SFP+: 5

Odpovědi

[X]

Dej sem jeste vystup ethtool.

[fatman]

přikládám níže, negotation vypnout nelze:

ethtool -s enp1s0 speed 10000 duplex full autoneg off
netlink error: link settings update failed
netlink error: Invalid argument

ethtool enp1s0
Settings for enp1s0:
        Supported ports: [ FIBRE ]
        Supported link modes:   1000baseT/Full
                                10000baseT/Full
        Supported pause frame use: Symmetric
        Supports auto-negotiation: Yes
        Supported FEC modes: Not reported
        Advertised link modes:  1000baseT/Full
                                10000baseT/Full
        Advertised pause frame use: Symmetric
        Advertised auto-negotiation: Yes
        Advertised FEC modes: Not reported
        Speed: Unknown!
        Duplex: Unknown! (255)
        Auto-negotiation: on
        Port: FIBRE
        PHYAD: 0
        Transceiver: internal
        Supports Wake-on: d
        Wake-on: d
        Current message level: 0x00000007 (7)
                               drv probe link
        Link detected: no

[X]

Link detected: no

Fyzicky problem? Mas to korektne zapojene/zacvaknute? Prepinac sviti? Vidis laser na kabelu? Stav linky na prepinaci je jaky? Tu protistranu mas odzkousenou jako funkcni?

[fatman]

řekl bych, že fyzický problém to asi nebude, lasery svítí, diagnostika SFP na serveru ukazuje:

Receiver signal average optical power     : 0.5585 mW / -2.53 dBm

diagnostika SFP na switchi ukazuje:

Laser receiver power                      :  0.5339 mW / -2.73 dBm

Dívám se na správné rozhraní, ověřeno shozením rozhraním a opětovnou diagnostikou. Doufám, že někde nedělám nějakou školáckou chybu. Skoro se mi to jeví jako HW závada karty, nebo SW bug karty, či BIOS.

[X]

Myslel jsem ethtool -i, kvuli verzi firmware. Ono prodejce doporucil kartu, ale ja ji na seznamu nevidim.

[X]

Myslim ten modul. Plus kometare jako:

If your 82599-based Intel(R) Network Adapter came with Intel optics, it only supports Intel optics.

nebo, Co vypis 'ip link show'?

[fatman]

prodejce dodal server s kartou, později jsem objednal ten SFP. Na straně switche tedy musí být taky SFP Intel?

ip link show
enp1s0: <NO-CARRIER,BROADCAST,MULTICAST,UP > mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000

[fatman]

ethtool -i enp1s0
driver: ixgbe
version: 6.1.4
firmware-version: 0x800006e3, 1.1824.0
expansion-rom-version:
bus-info: 0000:01:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

[Jan Marek]

Ahoj,

Intel si hlídá, zda má originální SFP+ nebo ne.

Dá se to (obvykle) vypnout přepínačem při zavádění jaderného modulu.

Zkus si:

# modinfo ixgbe

Měl bys tam najít něco jako:

allow_unsupported_sfp

Odstraň jaderný modul a pak jej zaveď s tím parametrem:

modprobe ixgbe allow_unsupported_sfp=true (nebo možná =1)

Mělo by to naběhnout.

[X]

Ma tam:

ixgbe 0000:01:00.0 0000:01:00.0 (uninitialized): allow_unsupported_sfp Enabled

[Jan Marek]

Hm, nevšiml jsem si, sorry...

A co tedy, pokud by to šlo, zkusit prohodit SFP+ transceivery?

Pokud by ten v serveru měl vadnou stranu RX, chyba by se prohodila...

[panika]

zrovna tenhle tejden jsem mel mrzeni s patchovanim x520, ktery jsem vyhral. chovalo se to podobne divne. stejnej cip. https://gist.github.com/ixs/dbaac42730dea9bd124f26cbd439c58 i tak to nezere uplne vsechny sfp ale snad vsechny DAC / DAO co mam a SFP maxlink noprob. bezi to pak jan na ubuntu lts out of the box tak na widlich po instalaci intel driveru z toho jejich mega packu. snad ti to pomuze.

[Fatman]

díky za zkušenost, gist říká, že ta stránka neexistuje (404), nějaký alternativní odkaz prosím?

[X]

intel_x520_patcher.py

[Fatman]

děkuji, patcher říká, že Card is already unlocked for all SFP modules. Nothing to do.

ifdown enp1s0
ip a
enp1s0: <BROADCAST,MULTICAST> mtu 1500 qdisc mq state DOWN group default qlen 1000

ifup enp1s0
ip a
enp1s0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN group default qlen 1000

zkusím se ještě zeptat u jednoho dodavatele.

[panika]

ani ta x520 nema rada vsechny sfp moduly i po odemceni - kup si par maxlinku s tema jsem mel stesti, anebo rovnou i tu x520 da se koupit za 1500.. za odkaz sorry mozna jsem to nejak pokazil pri kopirovani na mobilu a koukam ani nedal do tagu - uplna vostuda :) jestli mivas cestu kolem metra opatov tak muzes napsat na panpanika na googlu a udelame test co ta tvoje karta zere..mam uz celkem sbirku...

[Fatman]

to je zajímavé, takže by mohl fungovat
https://www.abctech.cz/maxlink-10g-sfp-opticky-modul-mm-850nm-300m-2x-lc-konektor-ddm_d39952.html?
Za tu uvedenou cenu to objednám a zkusím. Děkuji, k metru to mám z ruky :)

[panika]

jop tyhle mi makaj cena odpovida dej vedet jaks dopad

[Fatman]

stav je stejný i s Maxlinkem, nefunguje to:

[Tue Jul  8 10:23:38 2025] Command line: BOOT_IMAGE=/boot/vmlinuz-6.1.0-37-amd64 root=UUID=d8dd9637-e02e-484f-87cd-7d8abd5efac2 ro ixgbe.allow_unsupported_sfp=1 quiet mitigations=off intel_pstate=disable
[Tue Jul  8 10:23:38 2025] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-6.1.0-37-amd64 root=UUID=d8dd9637-e02e-484f-87cd-7d8abd5efac2 ro ixgbe.allow_unsupported_sfp=1 quiet mitigations=off intel_pstate=disable
[Tue Jul  8 10:23:40 2025] ixgbe: loading out-of-tree module taints kernel.
[Tue Jul  8 10:23:40 2025] ixgbe: module verification failed: signature and/or required key missing - tainting kernel
[Tue Jul  8 10:23:40 2025] ixgbe 0000:01:00.0 0000:01:00.0 (uninitialized): ixgbe_check_options: FCoE Offload feature enabled
[Tue Jul  8 10:23:40 2025] ixgbe 0000:01:00.0 0000:01:00.0 (uninitialized): allow_unsupported_sfp Enabled
[Tue Jul  8 10:23:40 2025] ixgbe 0000:01:00.0: Multiqueue Enabled: Rx Queue count = 8, Tx Queue count = 8 XDP Queue count = 0
[Tue Jul  8 10:23:40 2025] ixgbe 0000:01:00.0: 32.000 Gb/s available PCIe bandwidth (5.0 GT/s PCIe x8 link)
[Tue Jul  8 10:23:40 2025] ixgbe 0000:01:00.0 eth0: MAC: 2, PHY: 19, SFP+: 5, PBA No: 0210FF-0FF
[Tue Jul  8 10:23:40 2025] ixgbe 0000:01:00.0: ac:1f:6b:ac:06:fa
[Tue Jul  8 10:23:40 2025] ixgbe 0000:01:00.0 eth0: Enabled Features: RxQ: 8 TxQ: 8 FdirHash
[Tue Jul  8 10:23:40 2025] ixgbe 0000:01:00.0 eth0: Intel(R) 10 Gigabit Network Connection
[Tue Jul  8 10:23:40 2025] ixgbe 0000:01:00.0 enp1s0: renamed from eth0
[Tue Jul  8 10:23:40 2025] ixgbe 0000:01:00.0: registered PHC device on enp1s0
[Tue Jul  8 10:23:41 2025] ixgbe 0000:01:00.0 enp1s0: detected SFP+: 5
[Tue Jul  8 10:23:41 2025] ixgbe 0000:01:00.0 enp1s0: detected SFP+: 5
[Tue Jul  8 10:34:14 2025] ixgbe 0000:01:00.0: removed PHC on enp1s0
[Tue Jul  8 10:34:21 2025] ixgbe 0000:01:00.0: registered PHC device on enp1s0
[Tue Jul  8 10:34:21 2025] ixgbe 0000:01:00.0 enp1s0: detected SFP+: 5

enp1s0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN group default qlen 1000

je to pro mně záhada...

[MP]

Mozne zavady: kabel, switch, samotne porty na nektere strane Ja X520-DA2 pouzivam na mnoha ruznych vendor/verzich serveru, firmware beru z debianu, zkousel se? A jeste hint, co zkusit single optiku? Podporuje ten hw vubec multimod?

[Fatman]

Ty závady bych skoro vyloučil, port na switchi je ok, předtím se normálně používal. Než jsem to dal sem, dal jsem hodně času laborování s různými kabely, i singlemod, a různými SFP. Všechno se chová identicky. Když odstraním kompilovaný ovladač intel a nechám jaderný, tak v dmesg se objevuje hláška:

ixgbe 0000:01:00.0: Warning firmware error detected FWSM: 0x00298044

Takový zásek se mi už dlouho nepřihodil. Asi nakonec potupně skončím u bondingu 2x1 Gbe,

[panika]

to je divny, ja se mrknu az u toho budu co mi tam bezi za driver - zkus si nabootovat ubuntu lts z live image to je za minutu a vyloucime celou vetev stromu potizi :)

[Fatman]

díky za tip. V Ubuntu se to chová stejně, v dmesg stejná hláška firmware error se stejným číslem chyby. Na té kartě je potisk AOS-STGN-i1S, je to tento hardware https://smicro.cz/supermicro-aoc-stgn-i1s-single-sfp-10gb-s-pci-e-8x-gen-2-5gt-s-card-lp. Server po záruce, podpora není zaplacená. Naštěstí to není kritická aplikace.

[MP]

Zkusit tu kartu v jinem zeleze? Zkusit koupit nesupermicro standardni kartu, x520 na bazarech stoji pakatel?

[panika]

jeto tak

172360 Intel Adapter X520-DA2 2-port 10 Gbit/s SFP+ Ethernet PCIe x8 927249 Low Profile 1000kc bez dph :) velky brakety mam este nejaky z ebaye navic...