Dotaz: jaky sitovy protokol pro komunikaci

[c]

Potrebuju propojit dva programy pres sit. Budou z 99% psane v pythonu, mozna v C. Potrebuju neco co pujde vsude (jakykoli jazyk a jakykoliv operacni system). Chci aby to komunikovalo pres TCP.

Zabezpeceni chci resit SSH tunelem.

Jak se to da realizovat? Nadefinovat si nejake textove retezce? Treba CTI, ZAPIS, ULOZ, ... Na netu jsem nasel neco o RPC, XML-RPC a SOAP, jaky na to mate nazor? Potrebuju rozeznavat asi 50 ruznych udalosti.

Odpovědi

[qwerty]

textove retazce by som urcite zavrhol, ako protokol by som pravdepodobne pouzil bud nejake standardne web service (najskor soap), alebo nejaku formu xml cez http (postovanie xml dat na nejaku adresu pomocou http/s). taktiez security by som asi neriesil cez tunely ale cez https. a ak by som sa nebal niecoho exotickejsieho a chcel by som si vyskusat nieco nove (a mozno aj rychlejsie ako ws), tak by som skusil hessian (http://hessian.caucho.com/).

[c]

textove retazce by som urcite zavrhol

Co je na nich tak spatneho?

pravdepodobne pouzil bud nejake standardne web service (najskor soap), alebo nejaku formu xml cez http (postovanie xml dat na nejaku adresu pomocou http/s)

Proc pres http? Nebylo by lepsi, kdyby serverovy program poslouchal na svem vlastnim portu?

taktiez security by som asi neriesil cez tunely ale cez https

V cem je to lepsi nez ssh tunel?


Skoro vubec tomu nerozumim, proto se ptam.

[qwerty]

• textove retazce mi prijdu ako vynaliezanie kolesa... pokym tam bude vzdy len jeden command, tak je to ok, ale co ked zacnu pribudat parametre? co ked ich bude pomerne vela? co ked zacnu byt zlozite a strukturovane? potom si budete kodit vlastny argument parser? pre vsetkych svatych, naco? toto vsetko uz poskytuju existujuce technologie ako napr. xml alebo json, popr. nejaka forma binarnej komunikacie.
• to ze protokol je http neznamena ze to musi pocuvat na 80, http nie je nijako zviazany s portom 80, moze pocuvat na lubovolnom porte. vid. http://en.wikipedia.org/wiki/Http
• preco https? pretoze aplikacia nebude zavisla na ssh, bude kompaktnejsia, dalej jej instalacia bude jednoduchsia a pod, proste ssh tunel mi pride ako barla

[c]

Dobre, rozhodl jsem se pro XML - je to asi nejlepsi reseni.
Je lepsi XML-RPC, nebo SOAP?

Jak je to s tim JSON?

Takze ten program musi svuj vlastni interni webovy server?

Co je spatneho na ssh? V linuxu je a ve win muzu pouzit plink (z putty).

[Michal Kubeček]

SSH tunel je jen berlička pro případ, že buď z nějakých důvodů nemůžete tunelovat pomocí SSL/TLS, nebo to prostě jen neumíte a odmítáte se to naučit. Čistý SSL/TLS tunel má výhodu v tom, že je čistší, nezávislý na dalších aplikacích a snáze se konfiguruje. Také je univerzální - podpora SSL/TLS může (a často je) přímo v aplikaci (použijete-li pro HTTP knihovnu libcurl, tak tak podporuje i HTTPS) nebo to transparentně odtunelujete např. pomocí stunnelu. A je jen na vás, kterou variantu na jednotlivých koncích použijete.

[rADOn]

XML-RPC je ciste serializace do textu, prenos a deserializace. Ma omezenou, ale celkem pouzitelnou mnozinu datovych typu - boolean, int, string, datetime, blob, pole, slovník… to bude asitak vsechno. Nemá žádnou variantu None.

SOAP je afaik funkcni nadmnozina ktera pridava spis standartizaci formatu volani. Nekde jsem dokonce videl xml-rpc knihovnu bavit se SOAP serverem.

JSON format je o neco min ukecany nez xml, ale pokud neplanujes velky objemy dat, prijde mi jednodussi sahnout po hotovym xml-rpc nez hledat json knihovnu (ve standartni knihovne zadna neni) a vyrabet si nad ni vlastni rpc. A i kdybys chtel velky vykon, tak bude lepsi sahnout treba po fastrpc, ktery je rychlejsi ceckova implementace tehoz. (disclaimer: v tomhle jsem zaujaty, protoze fastrpc je muj deni chleba )

Webovy server je celkem detail, jsou hotovy knihovny ktery ti podstrci file handle a o ostatni se postaraji. V pythonu je obecny socket server, xml-rpc knihovna ho obaluje a postara se o (de)serializaci.

Jestli to budes psat v pythonu tak bych rekl ze xml-rpc je jasna volba protoze je soucasti standartni knihovny. Serverova cast vypada zhruba tak, ze zaregistrujes normalni pythoni funkce aby byly viditelny pod nejakym jmenem, a pri zavolani dostanes data od klienta klasicky do argumentu funkce. Na klientu staci vytvorit objekt spojeni na server a funkce poskytovany serverem se pak jevi jako jeho metody. Podivej se do rtfm, jsou tam i priklady.

SSH je externi program ktery muze a nemusi spolupracovat, s prvnim je spousta prace, s druhym spousta problemu. SSL/TLS je knihovna kterou muzes zapojit primo do vlastniho kodu a nebyt tak zavisly na dalsim programu. Ma to ne uplne trivialni nastaveni kvuli certifikatum, ale koneckoncu spawnovat proces se ssh taky neni zadna sranda. Pokud jsi zvykly pouzivat v ssh klice misto hesel, nebudes mit problem, je to stejny princip. Pokud ne, radsi si honem zvykni

[Messa]

Existuje XML-RPC rozšíření, které přidává nil (None), Python xmlrpclib ho podporuje (v konstruktoru ServerProxy je potřeba nastavit allow_none=True).

XML-RPC i SOAP standardně komunikují pomocí XML dokumentů posílaných protokolem HTTP. Raději upřesním, že SOAP nepoužívá pro komunikaci XML-RPC. Hlavní rozdíl SOAPu a XML-RPC je, že standard SOAP kromě samotného posílání zpráv zahrnuje i možnost popisu webové služby (názvy poskytovaných metod, parametry atd.) a možná ještě i další věci.

Modul json je součástí standardní knihovny Pythonu od verze 2.6. S JSONem obecně v Pythonu nevidím problém. Je pravda, že XML-RPC ti zprávu samo přeloží (deserializuje) do příslušných datových typů (string, int, datetime, ...), ale JSON je takový jednodušší, někomu se líbí. Jinak, dokázal bych si představit i vlastní síťový protokol (tedy ty "nejake textove retezce", žádné HTTP nebo XML-RPC) založený na JSONu, tedy bez onoho "vynaliezanie kolesa".

FastRPC bych široké veřejnosti moc nedoporučoval, má několik nepříjemných vlastností. (I pro mě je to denní chleba.)

S doporučením XML-RPC souhlasím, za předpokladu, že model požadavek-odpověď je vhodný způsob komunikace pro vyvíjenou aplikaci (tzn. že není potřeba něco jako "push notifikace", asynchronní způsob komunikace apod.).

SOAP je výhodný v prostředí, které je na něj připraveno, pravděpodobně nějaké enterprise .Net nebo Javové frameworky; jinak si myslím, že je s tím spíš práce navíc.

"Takze ten program musi svuj vlastni interni webovy server? " - no, nějaký server tam být musí, a když bude použito XML-RPC, shodou okolností se bude jednat o webový server. Je ale otázka, zda XML-RPC server obsažený ve standardní knihovně Pythonu, tedy SimpleXMLRPCServer, je vhodný pro produkční nasazení... Snad ano.

S tím, že TLS/SSL je systémovější řešení než SSH tunelování souhlasím. Je to ale ještě jedna možnost - pokud se se SSH počítá vždy, programy by mohly komunikovat prostě standardním vstupem a výstupem, takové řešení není neobvyklé (používá např. subversion, rsync).

[rADOn]

…FastRPC bych široké veřejnosti moc nedoporučoval, má několik nepříjemných vlastností. (I pro mě je to denní chleba.)…

Klidne to rekni nahlas - za zpusob jakym pythoni fastrpc api resi datetime a boolean patri nekdo zastrelit Proto jsem taky doporucoval xml-rpc. Ale kdyby slo o velky data porad mi prijde jednodussi umravnit osklivy api fastrpc (proof-of-concept kod uz mam) nez bastlit neco sam.

[c]

Diky moc za rady, nakonec jsem se rozhodnul pro XML-RPC.

Jeste mam dotaz ke strukture toho XML, to si mohu sam nadefinovat?

<?xml version="1.0" encoding='UTF-8'?>
<abc>
  <soubor src="tux.jpg" alt='obrazek tuxe'/>
  <popis>obrazky
    <date>2010</date>
  </popis>  
</abc>

<?xml version="1.0" encoding='UTF-8'?>
<abc>
  <soubor>
    <src>tux.jpg</src>
    <alt>obrazek tuxe</alt>
  </soubor>
  <popis>obrazky
    <date>2010</date>
  </popis>
</abc>

Co je lepsi?

[Michal Kubeček]

Obecně se doporučuje spíš upřednostňovat elementy před atributy, ale podobná doporučení by se měla vždycky brát trochu s rezervou. V tomhle případě to asi bude jedno, ale kdyby těch informací o obrázku mělo být víc, volil bych spíš druhou variantu.

[Messa]

Buď bastli vlastní XML formát, nebo použij XML-RPC. Děláním obojího (posílat ubastlené XML jako jeden string přes XML-RPC) akorát slučuješ nevýhody obojího.

To, že přes síť posíláš XML, které si sám tvoříš, není XML-RPC. XML-RPC používá XML jen jako přenosový formát, do kterého se serializují data v různých datových typech. Tj. ty chceš poslat {"weight": 13.42} a ono to samo pošle <struct><member><name>price</name><value><double>13.420000</double><value></member></struct>, to tebe ale zajímat nemusí, ty při normálním používání XML-RPC s žádným XML do styku nepřijdeš (což je vlastně smysl celého XML-RPC).

[Pavel Stárek]

Psali jsme s kolegou takovou aplikaci (v Pythonu), kde byl požadavek na sesíťování a protože ty síťové věci nebyli nějak časově náročné tak jsme zvolili protokol XML-RPC. V Pythonu používáme něco takového:

def netServer():
    var.server = var.AsyncXMLRPCServer(('', int(var.entryPylogLocalPCPort.get_text())), SimpleXMLRPCRequestHandler)
    var.server.logRequests = False  #turn off logging - no messages printed out during processing requests
    var.server.allow_none = True
    # Register function 
    #var.server.register_instance(var.FunctionServer())
    var.server.register_function(getInfo)
    var.server.register_function(registerClientLog)
    var.server.register_function(removeClientLog)
    var.server.register_function(registerClientDX)
    var.server.register_function(removeClientDX)
    var.server.register_function(getAllDX)
    var.server.register_function(sendLogRow)
    var.server.register_function(_receiveLogRow)
    var.server.register_function(sendSpotDX)
    var.server.register_function(_receiveSpotDX)
    var.server.register_function(selectFromDB)
    var.server.register_function(selectListFromDB)
    var.server.register_function(insertToDB)
    var.server.register_function(deleteInDB)
    var.server.register_function(updateDB)
    var.server.register_introspection_functions()
    # run!
    var.server.serve_forever()

Ta funkce netServer() běží jako samostatný thread. Bylo to velice jednoduché a funkční řešení. Klienti pak používají něco takového:

...
var.clientLog = xmlrpclib.Server('http://' + var.clientLogAddress)
pommsel = var.clientLog.getInfo()
...