Dotaz: problém s jumbo frames

[lertimir]

Příloha:

• jumboframes3 (68280 bytů)

Mám problém s Gigabitovou s povolenými jumbo frames, a je možné, že je to chyba jádra. Po zvětšení MTU na 9000 jsem měl problém s připojením k NFS a i se stahováním některých stránek. Nakonec jsem dospěl k opakované jednoduché situaci v níž se chyba vždy projeví. A přihodil jsem wiresharkový záchyt

Server: Centos 6, jádro 2.6.32-279.19.1.el6.i686, IP 10.0.0.1
Klient: openSUSE 12.2 jádro 3.4.11-2.16-desktop x68_64 IP 10.0.0.10

Dotaz: stránka BackupPC/Host summary

na klientu je vždy MTU 9000. V záchytu je nejdříve nastaven na serveru MTU na 1500 a stránka projde v pořádku (pakety 2-46). Poté je změněno mtu příkazem ifconfig eth0 mtu 9000 na serveru (ssh komunikace 47-62) a následně udělán reload stránky (od paketu 65). Nejdivnější je paket 70. Když je podívám na přímá data tak jsou to HTML data, ale naprosto bez jakýchkoliv hlaviček, ani TCP, ani IP, ani Eth. Domnívám se, že to balení snad dělá jádro a normální aplikace něco takového nemůže poslat do rozhraní.

Problém není nijak akutní, protože na MTU 1500 vše funguje v pořádku, každá z obou stran pokud definuje mtu na nízkou hodnotu pakety jsou v pořádku. Ale zajímalo by mne jestli by někdo další s podobným jádrem (jádry), zkusil jestli se problém neobjeví i u něj, a pak je-li to problém aplikace nebo jádra, jak to případně dále testnout a kam dát report. Díky

Odpovědi

[Drašar]

Nemas mezi serverem a klientem nejake sitove zarizeni, ktere by pripadne mohlo mit s jumbo frames trable?

[lertimir]

Mezi je TL-SG1008D, který má podporu jumbo frame napsanou zrovna na tom odkazu. Možná kecají a mohu zkusit nacvakat kabel napřímo.

[kyytaM]

Asi najlepsi napad skusit napriamo (snad aj najjednoduchsie na vyskusanie). Neverit nicomu. :))

[j]

A to generujes takovy mnoztvi paketu ze ma smysl resit? Je totiz dokazany (da se najit), ze to za normalnich okolnosti (krom tech problemu) nic neprinese, a ma to smysl v situaci, kdy switch nestiha, protoze na nem generujes ohromny kvanta paketu.

Pokud si jen hrajes, tak samo nic proti ...

[lertimir]

Neřeším to nijak výrazně. Provoz je takový, že gigabit vytíží na 90% (samozřejmě ne pořád). Jen jsem jumbo zkusil a výsledek mne velmi překvapil. Rozdíl jumbo frames a standardních je v tom, že na přenesení 9000 bytu jumbo frame, je třeba 6-7 paketů běžných a když se sečtou všechny hlavičky navíc je to cca 350 bytů navíc tedy tak 3-4 %. Věnuji se tomu jen proto, že pokud je to skutečně chyba v jádře, má cenu ji reportovat někam, aby se do budoucna opravila. Pro můj vlastní provoz to význam nemá.

[Ivan]

Hmm a jaka je velikost Jumbo frame? Priznam se, ze neznam soucasnou situaci ale pred par lety byly Jumbo frames na posledni chvili vyhozeny z nejako draftu ethernet standartu. Jeste si vzpominam, ze v otazkach na Cisco certifikaci bylo asi 5 moznych (spravnych) odpovedi ohledne velikosti - zalezelo na presne formulaci otazky.

Pokud neveris kernelu, tak si "duplikuj" portu na swithi. Tzn. udelej si staticky arp zaznamy na switchi a pak muzes odposlouchavat to co skutecne switch posila do sitovky na druhe strane. Je docela mozny, ze je chyba v ovladaci sitovky.

Treba na AIXu kdyz si spustis tcpdump tak vidis, ze prijimas packety o velikosti 32KB bez ohledu na to jesli pouzivas/nepouzivas jumbo frames. Ty sitovky totiz maji TCP offload engine a to co prijde do kernelu uz je jen takovy "fake" packet, ktery ma v hlavickach neco co si vymyslel firmware sitovky.

[Ivan]

Offpopic: Jo jinak jumbo frames se hodi pokud pouzivas nejakou replikaci databazi (Oracle anebo Informix). Jumbo frame je totiz vetsi nez je velikost stranky. Pri MTU 1500 to vychazi tak, ze kazdy 2. az 3. packet man nastaven PUSH flag v TCP hlavicce. Zatimco kdyz pouzijes jumbo frames tak to vychazi jedna stranka na jeden packet.