Request manager pro lidi, co rádi rozbíjejí věci

3.7. 10:41 | Přečteno: 1764× | Legalix

Zdravím po letech. Účet tady mám přes dvacet let, posledních osmnáct ležel ladem — kdysi jsem abclinuxu četl skoro denně, pak mě sežral život a práce. Vracím se, protože jsem poslední 3 roky makal na novém test toolu a tady sedí přesně ti lidi, které by to mohlo zajímat.

Jmenuje se to VirtuProbe Studio — neumí jen HTTP: umí řetězit requesty napříč protokoly. Pošlete HTTP request, přečtete výsledný e-mail, vytáhnete z něj token a prožene ho dál třeba do AD, nebo třeba checknete výsledek v DB. Data si mezi kroky předáváte přes extraktory, celé to skriptujete v Groovy (nebo naklikáte vizuálně), a když nějaký protokol chybí, doplníme ho. Mrknout se dá na virtuprobe.studio.

Krátce ke mně: programuju od roku 1996, dvacet let se živím vývojem a bezpečností — od jádra bankovního systému po big data. A napříč všemi projekty se opakovalo jedno: testovací nástroje nikdy nestačily na to, co bylo reálně potřeba otestovat. Sám nástroj vznikl z frustrace — v Burpu mi chyběl pořádný správce requestů napříč projekty, tak jsem si napsal plugin. Nakonec z toho vyrostl celý testovací workbench.

Pro tuhle komunitu to podstatné: běží to nativně na Linuxu jako samostatná desktopová aplikace. Nebo oddělíte UI od exekučního serveru — engine strčíte přímo do testovaného prostředí a ven vystavíte jen API porty. Nemusíte tím pádem otevírat kritické porty do celé firemní sítě jen kvůli tomu, že chcete otestovat řetězec mezi e-mailem a HTTP. Žádný cloud se nekoná; jediné, co běží venku, je licenční server.

Zákazníky máme zatím dva, oba nám dali skvělou zpětnou vazbu a podle ní jsme doladili věci jako import stávajících kolekcí a hromadu věcí v UX.

Pokud to budete chtít někdo vyzkoušet a poslat feedback, budu samozřejmě moc rád!

A sorry za spam. Tool má sice free verzi, která je sama o sobě použitelnější než competition, ale ve výsledku se přece jenom jedná o komerční produkt.        

Komentáře

[karel]

Takze pokud me vysira postman, kolekce a jejich api rate limiting - jste idealni volba? :)

[Foobar.Beer]

U nás žádné takové limity zavádět neplánujeme, ani v rámci free tieru. Dost tomu teda pomáhá ten standalone/self-hosted deployment model, kde nemusíme sypat $$ AWSku za infrastrukturu pro uživatele.

Pokud bys to chtěl vyzkoušet a narazil na nějakou takovouhle absurditu, určitě dej vědět a v příštím release bude pryč

[no thanks]

vibecoded sračka, minmálně ten web

[Foobar.Beer]

Ahoj, web je každopádně vibecoded, ale aplikaci vyvíjíme já a kamarád/dlouholetý kolega. Oba programátoři - já hlavně backend, kamarád směr FE/UI/UX; ani jeden z nás rozhodně ne webdesigner.

[_]

mam pro vas rychli quiz

co ma spolecne napad udelat marketingovou kampan na mrtvem webu s napadem pouzit groovy pro skriptovani v projektu?

[Want]

Mám také kvízovou otázku: "Proč se ptáš na cizí pohnutky, když tu sám strašíš?"

[_]

figure of speech mistre na nic sem se neptal

podekuj me nesmirne laskavosti ze neudelam dalsi kviz tentokrat s disklesovejma sendvicema

[Want]

To si s tebou nikdo nechce zahrát ani piškvorky, když máš tak velkou potřebu opruzovat zrovna tady?

[_]

excelent question

tazu se te na to same

[karkar]

Diskless sendviče jsou le, počkej si, gen, počkej si, dární!!!

[unc]

back in my day, bylo normalni takovyhle veci delat jako CLI util, pod permisivni licenci a pustit to ven do sveta, at je to i nekomu k necemu uzitecny... tak si clovek postupne udelal reputaci a az skrz ni se dostal k necemu opravdu zajimavymu...

ze je to vibecoded (a to nejen web, ze ano ) je uplne jedno, podstatna vec k zamysleni je, ze za jak dlouho mi tohle napise GPT Pro na miru, ne fakt to nemusi napsat cely, staci vzdycky jen ten kousek, co potrebuju, dalsi se pripise priste

nevidim vubec zadnej duvod platit nejaky trapny SaaSy kdyz si je muzu nechat na pockani napsat

takhle treba uz sel Fakturoid smykem a postupne odbouravam dalsi SaaSy

nevidim jedinej duvod nejakej pridavat :D

[\]

videl bych to tak, ze reiteruju, co v tyhle AI horecce opakuju furt - ze neco zacalo jit, (a ze to ted jde snadno,) neznamena jeste, ze je to dobrej napad

delat SaaSy je asi tak podobne kvalitni napad jako delat harnessy pro LLM based agenty... oboje nema zadnou budoucnost a bude prevalcovano lepsima a levnejsima modelama v nedaleke budoucnosti samo od sebe

[Foobar.Beer]

Tohle je podle mě nejlepší námitka v celém vlákně, tak na ni zkusím odpovědět pořádně.

Máš pravdu, že vygenerovat kus skriptu jsou dneska minuty — a u věcí s pevným, stabilním zadáním to dává smysl. Fakturoid je přesně ten případ: zákon o DPH se nemění každý týden a formulář je daný (ne, že bych něco takového uměl použít, já bych svoje daně bez daňové poradkyně dohromady nedal ani s Fakturoidem).

Háček je v tom, že napsání první verze je tak 5 % nákladu na jakýkoli tool. Zbylých 95 % je maintenance — update RFC, update APIny nějaké 3rd party ... cizí API ti mění chování pod rukama, vyskočí edge case, něco přestane fungovat po updatu na druhé straně. „Napíšu si to na počkání" řeší tu levnou pětinu a ignoruje tu drahou. A „stačí kousek, co potřebuju, další se připíše příště" jede přesně do chvíle, kdy máš 40 nalepených kousků bez společné architektury, testů, CI/CD.

Hodnota není poslat jeden request — to zvládne curl. Hodnota je orchestrovat řetězec napříč protokoly, předávat stav mezi kroky a mít to reprodukovatelné a udržovatelné. Ta integrační složitost mezi kousky je ta těžká část, ne ty kousky.

Co se přidané hodnoty týče, máme free tier, který bude pro obrovskou většinu našich uživatelů good enough i na projektové záležitosti forever (dneska na mě byla manželka, když zjistila, že jdeme ven s něčím, co má pokrytou komerční verzi konkurence na free tieru, pěkně nasraná ).

[-]

ale na co se budu ucit nejaky 3rd party proprietarni tool, ktery mi slibuje omezenou free verzi, kdyz mi GPT napise konkretni tool pro konkretni protokoly, kde zretezi konkretne, co jak potrebuju - a potom, az budu potrebovat neco jinyho, mi zas napise uplne jinou throwaway splacaninu :D

vsechny ty protokoly maji verejnou dokumentaci... nedela mi problem si takovych jednorazovych toolu, ktere mne stoji jen tech 5% prvnich nakladu, delat nekolik kazdy den, ono totiz tech 95% pro me v tomhle setupu proste neexistuje... ne, vidim jen mozna potrebu investovat nekdy v budoucnu dalsich 5%, tak to totiz je...

[=]

co se tyce danove poradkyne, tak tam je to zrovna dost tristni odpovednost maji jen za svoji chybu, moji chybu stejne prikryt neumi - a tak prakticky jedina pridana hodnota je moznost podat priznani az v srpnu... vsechno ostatni mi dneska spolehlive uz pokryje GPT Pro (a zrovna v pripade, kde bych je nahradil nejradsi, by to uz ted vyslo na 2x $200 subscription :D pritom prace od nas maji, ze by stacilo ctvrt jednoho)

davam jim tak rok, maximalne dva a taky se rozloucime

[Foobar.Beer]

A přesně proto to celé stavím kolem reprodukovatelnosti, ne kolem generování. Cíl je, aby ten samý flow šel pustit v CI bez tebe, hodit exekuční server přímo do testovaného prostředí a předat ho někomu, kdo u toho nebyl. To je věc, kterou throwaway z principu neudělá, protože každá regenerace je jiný artefakt.

[/]

njn, u mne vyhrava moznost si delat s tim, co mi GPT vygeneruje, cokoliv, jakkoliv, na to proprietarni tool nema

vsak taky nerikam, ze jsem majorita, to o sobe netvrdim... bejvam bezne o dost napred, takze imo asi mate tak ten rok, dva, to nejak zpenezit

ja bych ale teda ten rok, dva, rovnou dal do neceho jinyho

[Want]

Tak dej, a neotravuj.

[/]

Zalec do nory komunistická špíno

[Want]

Tak tos mne fakt pobavil demente. Se svými manýry mezi ně pasuješ víc ty.

[Want]

Nálepkování byla jejich specialita.

[-]

Řekl a onálepkoval je …

[\]

hele ty zbytecna existence, tebe se nikdo na nic neptal chod prekazet jinam

[xkucf03]

Je fajn, že ses vrátil a těším se na další zápisky. Rád si přečtu, na čem děláš, nicméně ten software samotný pro mne není. Já na tyhle komplexní testy vždycky používal JMeter. Ten je sice primárně na výkonnostní testy, ale dají se v něm psát i funkční. Jsou tam konektory na různé protokoly, dají se napsat i vlastní. Člověk si tam poskládá scénář, předává proměnné mezi kroky a logika se dá naskriptovat v různých jazycích (včetně JavaScriptu a Groovy). Umí to extrahovat hodnoty přes XPath, dělat validace a spoustu dalších věcí. Neříkám, že je to úplně intuitivní, ale víckrát se mi povedlo v tom udělat nějaký základ, který jsem pak předal lidem, kteří v JMeteru nikdy nedělali, a byli schopní to převzít a ty testy rozvíjet, takže úplně nepřívětivé to taky není. A je to svobodný software. Věřím, že ten tvůj produkt si nějaké zákazníky najde, ale já osobně mám podmínku, že nechci záviset na proprietárním softwaru.

[Foobar.Beer]

Čau, musím říct, že mám hroznou radost, že abc ještě pořád existuje, i když pro mě hodně RO (ale já se všeobecně vyhýbám publikování věcí, co nesouvisí s mými projekty online; vážím si svého soukromí).

JMeter (a SOAPUI) jsem používal hodně, ale neviděl jsem 10 let, ale do oblasti perftestingu se s existujícími nástroji (já tyhle testy píšu v Gatlingu a k6) zatím profilovat neplánujeme. Moje motivace, proč jsem to 3 roky zpátky začal programovat (když nepočítám, že to byla původně extension pro Burp) byla hlavně o tom, že chci dát komunitě plnohodnotný HTTP request manager typu konkurence, ale zároveň bez stupidních omezení (která někteří zavedli) a lidem, co to budou potřebovat nabídnout placený tier za ostatní protokoly + security věci, co jsem tam zadrátoval (nejsem žádny haxor by trade, ale v HTB labs už jsem VP používal proti AD k plne spokojenosti).

Proprietární kód to je. Ale je krásně napsaný (clean code, full CI/CD, full smoke test coverage, ...) a zároveň jsem odmítnul veškeré tlaky kolegů tam dát jakoukoliv in-app telemetrii a podobné věci (jediné 2 calls out jsou "fetch latest-version.json z R2" a (pokud máš aktivní licenci) validace licence proti licenčnímu serveru, takže se s tím proprietární snažím zacházet maximálně user friendly). Ale chápu, že to není nic pro tebe.

[BTW]

* odkazy ke stazeni nefunguji, konci 404 - https://dl.virtuprobe.studio/latest/

* da se to ovladat primo z browseru nebo jen "desktop app" (self-contained Electron:) ?

[Foobar.Beer]

Ahoj, díky za info!

Trefil ses přesně do release okna — GitHub Actions nám zrovna buildily novou verzi. Je tam malá race, kdy se verze na landing page překlopí o ~7 minut dřív, než se binárky dobuildí a nahrajou do R2. Teď už jsou nahoře, tak to dej ještě jednou přes tlačítka na https://virtuprobe.studio/#download.

K ovládání: browser podporu plánujeme, ale zatím máme v Electronu inicializaci, bez které ti v prohlížeči nepojede tohle: - AI asistent - šifrování credential store přes systémový keyring - výběr sdíleného (git-shareable) workspace adresáře (takže aplikace bude chodit, ale jediná možnost jak držet data je lokální souborová DB, která je default, když uživatel nepoužije adresář).

[Foobar.Beer]

Sorry, hodim ten list do html:

• AI asistent (BYOK)
• šifrování credential store přes systémový keyring
• výběr sdíleného (git-shareable) workspace adresáře (takže aplikace bude chodit, ale jediná možnost jak držet data je lokální souborová DB, která je default, když uživatel nepoužije adresář)