Dotaz: Netcat a Windows/Unix line feed

[Zdeněk Zámečník]

Neúspěšně bojuji s CR+LF vs LF. Na serveru poslouchám netcatem a na něj se připojuji telnetem z Windows. Problém je v tom, že windows mi posílá CR+LF, ale netcat očekává zakončení řádku pouze LF. Důsledek je takový, že když výstup netcatu sypu rourou někam dál, pošlou se mi do ní data až po přerušení spojení.

Já ovšem potřebuji data posílat okamžitě, CR+LF nahradit LF...

Stojím na tomto bodě:

nc -l -k -t -p 2000 | sed -e 's/\r/\r\n/g'

Zajímavé je, že když výstup přesměruji do souboru, třeba takto:

nc -l -k -t -p 2000 > output.log

tak se tam vše zapisuje okamžitě. Resp. pokud si jej otevřu ve vimu, je to tam. Cat apod. neukáže nic...

Poradí mi někdo, jak toto chování/problém vyřešit nebo obejít?

Odpovědi

[Zdeněk Zámečník]

Trošku jsem pokročil:

nc -l -p 2000 | tr '\n\r' '\n'

kupodivu funguje přesně, jak jsem chtěl.

Průšvih je, že chci netcatem volat skript, který vstup zpracuje a podle toho vyhodí nějaký výstup, takže něco ve stylu:

nc -l -p 2000 -e read.sh

read.sh:

#!/bin/bash
while true; do
  read input
  echo $input>input.log
  echo "Recorded: $input"
done

Ovšem tím jsem s problémem zase na začátku, protože opět nevím, jak ten vstup v read.sh vzít a prohnat ho něčím co ho zkonvertuje CR+LF na LF.

[zulu]

sed i tr máš blbě. Ten vstup v bashi můžeš upravit takhle

input=${input%$'\r'}

[Zdeněk Zámečník]

Co je na nich špatně? Tohle mi nepomůže, mám problém načíst už samotný input, pak už je sranda s ním manipulovat. Read totiž očekává zakončení řádky LF, sice má přepínač -d (delimiter), jenže ten neumí escape sekvence...

[mkmm]

Co zkusit jinou verzi netcatu? Treba ncat, ktery je soucasti nmap, ma prepinac na konverzi CRLF a existuje i pro windows.

[pht]

Hmm, zdá se že vidět je věřit? Co když se vám vše vypisuje ale kvůli tomu \r to nevidíte v konzoli.

Za prvé

sed -e 's/\r/\r\n/g'

tak úplně \r neodstraní. Asi spíš chcete

sed 's/\x0d$//g'

Popřípadě totéž se sed -u, abyste ještě nenarazil na problém bufferování výstupu a data se vypisovala opravdu po řádcích.

Jinak lépe než čachrovat s vimem a catem je lepší použít "od":

$ echo -ne 'aaaa\r\n' | sed 's/\x0d$//g' | od -t x1
0000000 61 61 61 61 0a
0000005

[Zdeněk Zámečník]

Máte pravdu. Prohnal jsem to čistě "od" a zjistil jsem, že řetězec je zakončen samotným CR (x0d), zkoušel jsem tedy

netcat -l -p 2000 | sed -u 's/\x0d/\x0a/g'

což mi průběžně nevypisuje nic, až když se přeruší spojení, tak se vypíše vše najednou.

Druhý pokus ve formě

netcat -l -p 2000 | tr '\r' '\n'

vypisuje pěkně průběžně.

Ovšem pokud kterýkoliv z těchto dvou výstupů přesměruji do souboru, tak se mi v obou případech zapíše do souboru až po přerušení spojení. Začínám mít obavy, že se standardními nástroji v Linuxu to dohromady nedám. Možná by bylo nejjednoduší to celé napsat v Pythonu...

[pht]

což mi průběžně nevypisuje nic, až když se přeruší spojení, tak se vypíše vše najednou.

Zní to jako problém s I/O buffery. Ve skutečnosti to není "po přerušení spojení" ale něco jako 4kb dat.