Dotaz: TCP server pro vice klientu - nejjednodussi

[petrfm]

Ahoj, potreboval bych na serveru logovat nejake udaje od klientu, kteri by se pripojovali na port pomoci TCP protokolu a odeslali nejaka data. Nejdrive bych si s tim chtel jen tak pohrat, nez budu pridavat nejakou funkcionalitu a budu potrebovat i odesilat data, resp. odpovedi. Takze mi na to zatim staci treba netcat. Ale umi obslouzit jen jednoho klienta a to je malo i na testovani.

Jde mi predevsim o to, sestavit spojeni a zalogovat udaje do souboru na serveru. Cili mi staci funkcionalita jako u netcatu, kdy si presmeruju STDOUT. Ale bez toho omezeni jednim klientem. Da se vlastne spustit vice instanci? asi ne, ze? ten server musi odbavovat ty klienty postupne, kdyz vsichni komunikuji pres jeden port, ze?

Musim si na to napsat server treba v Ccku nebo to jde i jinak? Cckem nevladnu, trochu java a php, idealne kdyby na to existoval skriptik v bashi?

Diky za tipy, P.

---

---

Odpovědi

[NN]

Mohl by stacit xinetd jako tcp wrapper nad nejakym skriptem, nebo si napsat threading/forking server vlastni.

[Michal Kubeček]

Ano, pokud si člověk nechce psát vlastní implementaci, (x)inetd je nejjednodušší řešení.

[srbt]

Ovšem i ten script pod xinetd by měl řešit zamykání výstupního souboru - třeba pomocí flock.

[kozzi]

Osobne bych se nebal zkusit nejakej framework. Ono neco takoveho naprogramovat je otazka nekolika vterin a par radku kodu, akorat bych asi volil neco jineho nez C, to dle toho co tvrdis by mohlo byt pro tebe zbytecne obtizne.

Napriklad v Decku s vibe.d to vypada nejak takto:

import vibe.d;

shared static this() {
	listenTCP(55555, toDelegate(&logMe));
}

void logMe(TCPConnection conn) {
    appendToFile("/tmp/nejakysoubor", conn.readAllUTF8());
}

[dword]

Pro ncat existuje prepinac:

-k, --keep-open (Accept multiple connections) .
    Normally a listening server accepts only one connection and then quits when the
connection is closed. This option makes it accept multiple simultaneous connections
and wait for more connections after they have all been closed. It must be combined
with --listen. In this mode there is no way for Ncat to know when its network input
is finished, so it will keep running until interrupted. This also means that it will
never close its output stream, so any program reading from Ncat and looking for
end-of-file will also hang.

[dword]

jeste doplnim, ze se jedna o ncat z baliku nmap

[pavlix]

Low-level věci se dobře píšou v C nebo v Pythonu, ale chce to trochu zkušeností, takže to chvíli trvá, když je člověk nabírá až v rámci toho. Jinak ideálně inetd/xinetd, jak už tady padlo, to dělá přesně co ten netcat, akorát na úrovni systémové služby.

Nebo přímo ručně spustit ten netcat, viz níže.

nc --listen --port=PORT --exec=CMD --continuous

[pavlix]

(Obdobně pro jiné varianty netcatu.)

[srbt]

Použitelný příklad v pythonu je: http://stackoverflow.com/questions/23828264/how-to-make-a-simple-multithreaded-socket-server-in-python-that-remembers-client

Funguje jako echo - co dostane, to pošle klientovi zpět. stačí tedy řádky:

response = data
client.send(response)

nahradit za:

with open('logfile.log', 'a') as log:
  log.write(data)

Může nastat problém se současným zápisem do souboru z více vláken - dá se řešit zámkem, nebo pomocí fronty. Rychlejší, ale komplikovanější řešení s frontou je http://stackoverflow.com/questions/11983938/python-appending-to-same-file-from-multiple-threads

příklad se zámky by do __init__ přidal

self.lock = threading.Lock()

a zápis by pak vypadal:

self.lock.acquire()
with open('logfile.log', 'a') as log:
  log.write(data)
self.lock.release()

[pavlix]

Úplně nevím, jestli by se mi chtělo řešit vlákna, když to nic nepřínáší.

[srbt]

Vlákna přináší to:

Ale bez toho omezeni jednim klientem. Da se vlastne spustit vice instanci?

Aby mohl paralelně odbavit několik klientů. Předpokládám (jen předpokládám, netvrdím že je to opravdu situace tazatele), že se k serveru má připojit několik klientů a posílat mu nějaká data, která chtějí ukládat do souboru.

Pokud by se klient jen připojil, poslal data a odpojil, tak stačí nc -k.

Pokud však klient data nějak získává postupně a chce je zapisovat průběžně, potřebuje server vlákna aby obsloužil několik klientů najednou.

[pavlix]

Nemyslím si, že by k tomu byly potřeba vlákna.

[srbt]

To je jistě stručná a výstižná odpověď... a jistě inspirativní (protože mi připomněla, že to jde i forkem), přesto - nešlo by to pojmout nějak šířeji?

[Michal Kubeček]

Ani to není úplně nutné. Pokud klientů (a provozu od nich) není moc a zpracování požadavku netrvá moc dlouho, vystačíte i s jednou smyčkou a poll() (případně epoll() nebo pro tradicionalisty select()).

Jak se konkrétně ty tři varianty (fork, thready, poll/select) implementují, na to jsou na webu hromady příkladů, takže není potřeba to znovu podrobně popisovat.

[pavlix]

Přesně jak říká Michal, těch možností je hromada. Server může přijímat spojení fungovat v jediném vlákně jediného procesu. Nebo ve více vláknech. Nebo ve více procesech po jednom nebo více vláknech. Nebo nemusíš psát TCP server vůbec a můžeš použít ten netcat tak, jak už jsem v diskuzi popsal, a server napsat jen jako stdin/stdout filter. Všechny možnosti se jistě dají najít na internetu.

Podstata mého sdělení je v tom, že je práce s vlákny podstatně náročnější, zvlášť když se pak v tom máš vrtat v debuggeru. Můj názor je, že by se měla vlákna používat pouze tam, kde je pro to opravdu dobrý důvod. A u programu v Pythonu se ten důvod hledá o dost hůře než třeba u programu v céčku.

[Michal Kubeček]

Pokud však klient data nějak získává postupně a chce je zapisovat průběžně, potřebuje server vlákna aby obsloužil několik klientů najednou.

Dřív, než se problém začne řešit, je potřeba ho nejdřív co nejpřesněji formulovat. Dokud je jeden klient a jedno TCP spojení, je celkem jasné, co znamená zapisovat data z něj do logu. Jakmile mám do jednoho logu zapisovat streamy od několika současně připojených klientů, je potřeba si ujasnit požadavky na to, jak má ten výstup vypadat, protože kvůli bufferování může být výsledek dost divoký.

V praxi nejspíš budeme požadovat, že ve výstupním souboru musí být všechno, co přijde od klientů (což není tak samozřejmé, jak se na první pohled zdá). Kromě toho si typicky definujeme minimální "větu", která musí být ve výsledném souboru zapsaná tak, že nebude přerušená jiným textem. U textového logu to může být třeba řádek, ale dokážu si představit, že někdy může být požadavkem, že záznam skládající se z několika řádků má být pohromadě. Takže je potřeba definovat, jak se pozná "věta", a následně zajistit, aby se zápisy jednotlivých vět serializovaly.

[Fuky]

Příloha:

• example_srv.py (1336 bytů)

V příloze máš nastíněné jedno z možných řešení v Pythonu. Je to ukázka z Python SocketServer.

[petrfm]

Diky moc za odpovedi, neco z toho urcite vyzkousim. Jeste mi neni jasna jedna vec. Jak to vlastne funguje? Co, nebo kdo vlastne resi prirazeni socketu k jednotlivym klientum?

V systemu je otevren jeden jediny port a na nej se pripoji soucasne treba 10 klientu. To resi kernel, ze seradi jednotlive pozadavky od klientu do fronty a postupne to predava scriptu, ktery nasloucha na danem portu? A skript si sahne na port a dostane paket s oznacenim odesilatele, podle ktereho pozna, ktery paket ma priradit ke kteremu socketu?

[kozzi]

jj, predstav si to jako postu, nekolik lidi ti puse na tvou adresu coz je vlastne ip + port, no a ty jim odpovidas na zpet dle zpetne adresy coz je zase ip + port