Dotaz: Reverse http proxy s uživateli a api

[alfonz]

Ahojte, už delší dobu hledám nějakou dobrou programovatelnou HTTP proxy s podporou uživatelů/ověření -> pro konktrétního uživatele přiřadit konkrétní upstream server / port nebo nějak vybrat.

Snažím se hledat a nic moc necházím. Co jsem našel: * ngingx plus a njs (nebo nginx a njs) toto vypadá asi jako relativně proveditelné, ale vypadá to že chybí možnost nějak jednoduše ukládat k=v a cachovat a nebo je nutné mít ngingx plus. Njs zřejmě neumí připojení do DB. * envoy - vypadá to, že to není moc reálně proveditelné bez k8s a api si nejsem jistý, jak vlastně funguje (dokumentace se mi nedaří projít)

V tuto chvíli mám web app v uwsgi s vlastní implemetací proxy i s uživateli/výběrem a pod, ale bych rád použil něco běžného, ale nedaří se mi to najít.

Znáte něco co by to umělo? Popřípadě to může být i programovatelný balancer s podporu uživatelů, ale to je asi v tomto pohledu stejné.

Odpovědi

[MP]

Traefik, Envoy

[Alfonz]

jj - díky o Envoy jsem psal, ale tam si vůbec nejsem jistý jestli je reálné to provozovat bez k8s a za druhé jak vlastně tam vypadá api a to reálné použití. Máte nějaký example, kde by se něco podobného řešilo? Vše co jsem viděl, vůbec neodpovídalo představovanému použití.

očekával bych něco takové - pseudo code

func choose_server(user_cookie){
    #takhle funkce někde zjistí co a jak (může to být z nějaké cache, json soubor a pod)
    server = get_user_server_from_db(user_cookie)
    return server
}

func handle_url_path_request(request){
    user_cookie = request.get_cookie()
    server = choose_server(user_cookie)
    set_upstream(server);
    #teď to nějak odbaví požadavek na konkrétní server
    #a vrátí response a něco udělá.. / vrátí uživateli..
}

Něco podobného je asi tohle https://github.com/nginx/njs-examples#choosing-upstream-in-stream-based-on-the-underlying-protocol-streamdetect_http

Ale tam je upstream už definovaný a pouze se vybere (raději bych dynamický výběr zd DB)

[mrtvyprtvi]

Zalezi jak mate udelano overeni uzivatelu, jake oidc schema chcete pouzit atd apod. Pokud napriklad vam jde pouze o validaci tokenu pak vam staci openresty(nginx a lua vm), pokud chcete oidc codeflow tak teoreticky by to mel zvladnout session modul s openresty (nemam odzkousene), pripadne nginx plus s njs a openresty (mam odzkousene s provozuji v k8s v ne uplne male instalaci). Tohle tema je pomerne siroke a je tam par uskali hlavne v prostredi k8s. Pokud mate zajem ozvete se mi na email gveldrane@gmail.com (poslu vam tel a muzem to probrat vic do detailu). Omlouvam se za zkratkovitost datlim to z mobilu

[mrtvyprtvi]

Jinak vyhoda nginx plus je v tom ze umi interni distribuovanou keyval ktery navazete na mapy a hlavicky. Takze po zalogovani a ulozeni session cookie k keyval storu muzete udelat neco jako:

keyval $cookie_session $myupstream zone=upstreams;

a se vam promenna $myupstream naplni podle zaznamu v keyval storu, kterej plnite treba tim njs. Referencni uziti toho keyval storu je tady:

https://github.com/nginxinc/nginx-openid-connect

V prostredi k8s to znamena mit hs servicu a nad stavet nginx cluster, kterej zajisti synchronizaci key/val storu.

V ce edici byste musel nejspis pouzit openresty dictionary plus nejakej externi keyval store (redis/memcached)

[Alfonz]

Jo no právě, teď kvůli tomu máme uwsgi s vlastní proxy -> jelikož tam je spousta těchto funkcí dostupná. Myslel jsem, ale že tohle už nějaké dnešní proxy umí,ale vypadá to, že bez nginx plus to je vcelku problém.

Jelikož ty Traefik a Envoy vůbec nevypadají, že by uměly trochu složitější chování a kvůli takovéto blbosti mít celý K8S se svojí složitostí není vhodné řešení.

[Bobprasak]

Zkuste se podivat na ten openresty projekt, pokud nepouzivate pro authorizaci oidc auth codefllow, reseni by melo byt vcelku trivialni:

https://openresty.org/en/

nejaky example i v cestine je treba zde:

https://youtu.be/faxn53s3l3U (39:53 zacina cast co by Vad mohla zajimat)

To video ukazuje jak vzit nejakou informaci z tokenu s neco s ni udelat, pokid misto plneni hlsvicky nasetujete nejakou promennou s upstreamem melo by to fungovat tak jak potrebujete. Seznam upstreamu by se urcite dal nahrat pri staru nginxu klidne z db, pripadne tam vymyslet nejakou slozitejsi logiku. To video to ukazuje v prostredi k8s ale je to defacto jedno

[Max]

To vypadá zajímavě, o tom projektu jsem nevěděl. Díky.
Zdar Max

[alfonz]

Ahoj,

jo díky za video - pěkné info. Ano to openresty je opravdu asi jediné řešení, kde je to možné nějak normálně provést. Má to bohužel 2 trošku blbé věci a to je lua a to že nyní nginx tlačí ten njs opravdu hodně.

No ještě to promyslím, ale zatím to vypadá na to nginx a njs, pokud se do toho opravdu vrhneme. Doufám, že se v mezi době do nginxu běžného dostane ta key value db..

[Bobprasak]

Ja bych se toho lua scriptingu tak nebal. Jednak to neni zas tak slozity se naucit a pak ten lua modul ma spoustu vychytavek co tomu njs modulu zatim chybi. Jedna z nich je prave lua_shared_dictionary, coz je prave ona key/val store sdilena pres vsechny workery a operace nad ni maji zajistenou atomicitu (coz casto chcete). Njs ma lepsi "vyjadrovaci schopnosti", lip se v tom pisou treba subrequesty, ale prave v drzeni nejakych slozitejsich stavu v ramci jedne instance nginxu jste v v njs dost omezen.

Co se tyce key/val storu v nginx plus, tak se da hezky vyuzit pro drzeni treba casti konfiguraci nebo informaci pres ruzne instance, muzete ho vyuzivat jak vramci njs tak i lui. Nejvetsi sila tkvi ve vyse zminovanem spojeni klic=cookie (ci cokoliv z requestu), value se dynamicky nastavi. Je ale nutne si dat bacha na jednu vec: propsani hodnot pri zapisu nebo mazani na ostatni nody chvili trva. Muze se stat, ze pokud napriklad ukladate session a prijde velmi rychle nasledujici pozadavek na jinou instanci v nginx clusteru, pak bude zahozen protoze tato instance tuto session jeste nema zreplikovanou. Tenhle problem se da resit napriklad nastavenim sticky sessions na konkretni uzly clusteru, takze vam pozadavky skonci treba od konretniho uzivatele vzdy na jednom konkretnim uzlu, podporou fe nebo zavedeni zpozdeni pro odpovedi konkretnich requestu, kdy davate cas clusteru aby se zesyncoval.

Kazdopadne pokud se rozhodnete pro njs a zkusite ho nasadit pro Vas case, budu rad kdyz se podelite o sve dobre ci spatne zkusenosti :)

[Alfonz]

Našel jsem tohle

https://github.com/nginx/njs-examples#using-auth-request-http-async-var-auth-request

To vypadá hodně jako to co bych asi chtěl, ale je tam zřejmě problém s přeposíláním dat...? Procházel jsem ty jiné proxy/load balancery a vypadá to, že to opravdu většina neumí (krom nginx plus/openresty). Moc to nechápu, jelikož jsem si myslel, že takové funkce právě uživatel může požadovat od proxy/ http gateway?