Dotaz: rsync write failed: Broken pipe

[miker]

Zdravicko

mame 10 ubuntu serverov a jeden z nich je trosku problemovy. Jedna sa oto, ze pri kopirovani dat cez rsync padne pripojenie a chvilku sa neda ani lognut na server cez ssh (niekedy 5 minut niekedy az hodinu).

V logoch som nic nenasiel co by mi napovedalo oco sa jedna. Napr ked doslo k odpojeniu tak v ssh logu bolo ako keby sa nic nestalo, ziadny zaznam. Domnievam sa ze by to mohla byt mozno aj HW chyba, ale tazko povedat.

user@tarvos:/data/datax$ rsync -av *c11_r9* user@methone:/home3/dataz/ Password: Write failed: Broken pipe tomas@moon:~> ssh -CX user@tarvos @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY! Someone could be eavesdropping on you right now (man-in-the-middle attack)! It is also possible that the RSA host key has just been changed. Please contact your system administrator. Add correct host key in /home/tomas/.ssh/known_hosts to get rid of this message. Offending key in /home/tomas/.ssh/known_hosts:140 RSA host key for tarvos has changed and you have requested strict checking. Host key verification failed.

ostatne servery, ktore maju rovnaky HW a rovnaky OS (ubuntu 14.04) nemaju s tymto problem.

za kazdu radu, ktora mi pomoze dostat sa k chybe budem vdacny :)

Odpovědi

[NN]

Predne si fixni klice, mas to vcetne napovedy.. ad. rsync, porovnej konfiguraci SSH na klintech, pripadne bych patral po sitove strance ie. firewall, ovladace sitovky, port na prepinaci etc.

[miker]

pozriem to, ale prihlasuje sa cez heslo a nie kluce, konfiguracie na klientoch resp. serveroch su identicke. Skor to vidim na tu sietovu stranku a s tym by som chcel pomoct. Mozno tcpdump?

dokonca som sa dopatral, ze by to mohlo aj sposobovat konflikt MAC adries a pod. ALe tazko povedat.

[NN]

Tak treba do zacatku logovat pusteny ICMP ping flood. Mas nejaky identicky server, ktery se tak nechova? Bts. to jsou fyzicke stroje?

[miker]

ano fyzicke, myslim ze pingovanie stroja bezi aj ked ssh padne. Inac kopiruju sa celkom velke subory (aj 30 GB per file). V podstate ostatne servery sa tak nechovaju ako tento. Su si identicke HW aj OS ubuntu

[Jendа]

ale prihlasuje sa cez heslo a nie kluce

Jenže tohle je SSH host key protistrany.

[Jendа]

(a jestli vidíš jako že se mu náhodně mění host key, tak to může být, že máš druhý server se stejnou IP/MAC a tvé pakety jdou chvíli na jeden a chvíli na druhý)

[miker]

idem to prekontrolovat :)

[nobody]

smaz radek 140 v /home/tomas/.ssh/known_hosts a pokud rsync pak nepujde zkus ciste ssh spojeni pomoci 'ssh user@methone', melo by se ti zobrazit dotaz jestli chces pridat do known_hosts noveho hosta...

[miker]

diky, ale v tomto problem nebude, to uz som robil vela krat.

[nobody]

a cistej ssh spoj ti projde ok??

[miker]

Ked to spadne tak potom nejaky cas neprejde ani cisty ssh..tak ako som pisal na zaciatku..napr 5 min sa neviem lognut na server cez ssh a niekedy aj dlhsie

[NN]

Jsou nejaka zarizeni na ceste? SSH nejede, ale ICMP jede? Hm.. Neni nekde konfigurovany nejaky shaper, firewall s limit rate etc.?

[miker]

dnes som sa isiel lognut s mojim LDAP uctom

[miker@miker-arch ~]$ ssh miroslavm@tarvos @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY! Someone could be eavesdropping on you right now (man-in-the-middle attack)! It is also possible that a host key has just been changed. Please contact your system administrator. Add correct host key in /home/miker/.ssh/known_hosts to get rid of this message. Offending ECDSA key in /home/miker/.ssh/known_hosts:39 RSA host key for tarvos has changed and you have requested strict checking. Host key verification failed. potom som

potom $ ssh-keygen -R tarvos

potom

debug2: we sent a password packet, wait for replydebug1: Authentications that can continue: publickey,passwordPermission denied, please try again. debug2: we sent a password packet, wait for reply

debug1: Authentications that can continue: publickey,

password :

Permission denied, please try again.

to iste s lokal userom, ping tarvos bezi v pohode

[NN]

Nemate tam "inteligentni" firewall, ktery proxuje SSH?

[miker]

to skusim zistit, ale preco by bol problem iba s jednym hostom a ostatne su OK?

[Jendа]

Co třeba zkontrolovat, jestli ten fingerprint, který ti ten server nabízí, je správný? Co tam pustit tcpdump? Co se podívat, pokud je to na lokální síti, do ARP tabulky?

[miker]

takto? na servery som otvoril vim /etc/ssh/ssh_host_rsa.pub a na jednom clientovi vim /home/miker/.ssh/known_hosts pre tarvos tieto kluce sa ale nezhoduju

inac este taka vec, ze ako klient sa pripajam cez VPN a rsync potom spustam vramci serverov

[NN]

Pubkey neni fingerprint:

ssh-keygen -lf rsa.pub

[miker]

takze ssh user@tarvos

bla bla The fingerprint for the RSA key sent by the remote host is de:06:fa:fb:e5:7b:87:.....atd bla bla

ssh-keygen -lf /etc/ssh/ssh_host_rsa.pub

3b:f4:31:68:fb:27:b6:...atd

takze tieto keys sa nezhoduju, co dalej?

[Jendа]

Ten stroj, na který se přihlašuješ, není ten, který si myslíš.

Špatná konfigurace sítě nebo útok.

traceroute, tcpdump.

[miker]

utok to nebude, skor ta siet

vdaka za pomoc :) dalej skusim nejake blizsie info ziskat pomocou tcpdump a traceroute

[miker]

takze je tam nahodeny aj apache server, len na test apache2 test page na http:/tarvos:80, ale ale spadne ssh tak zrazu je na tejto adrese supermicro login/pass tabulka (asi IPMI), napada ma zeby to bol HW problem a tento IPMI firmware si obcas zobere pakety a potom sa host tvari ako niekto iny? to by vysvetlovalo aj to ssh fingerprints, lebo na ipmi sa da prihlasovat aj cez ssh. ked znova zacne ist ssh login na server tak apache test page je spat. Je to mozne? napada ma len upgrade IPMI firmware a BIOS. dakujem za odp.

[NN]

Tak je to jasne, adresa IPMI koliduje s nejakym interfacem. Nastineni problemu by mohlo byt zde.

[miker]

Vdaka, to vela vysvetluje :) Tieto supermicro MB maju v podstate dve sietove karty a prehodil som z en0 na en1 a vymenil som aj kabel a nepomohlo to. Takze bude to presne tento problem s IPMI. Takze ako to riesit podla teba? pravdepodobne najlepsie zacat asi s update firmware ako som spominal :)