Bezpečnost AI, je čeho se bát? (diskuse)

[RealJ]

Chybi ti v tom zneuzivani agentu k utokum... videl jsem u anthropicu jak si nekdo napsal ransomware agentem, dalsi priklad byli cinani kdy si provozovali celou infrastrukturu prostrednictvim agentu - od identifikace cilu, pres zjistovani zranitelnosti az po exploitaci a pohyb uvnitr infrastruktury. Vse prostrednictvim agentu, minimalni zasahy ze strany operatoru. Dnes misto timu o 50ti lidech ti staci par lidi kteri ti budou koordinovat vicero utocnych projektu. A jinak souhlas, je to pruser kdekoliv se podivam.

[Max]

To je spíše zneužívání AI k nekalým praktikám. Je jasné, že když AI ulehčí práci devíkovi a dalším, že to ulehčí práci i těm, co dělají zlotřilosti.
Nový obor, nové nebezpečenstvo, hodně změn, začátky většinou nebývají ideální.
Zdar Max

[Ariczek]

A pak jsou tu technické korporáty, řekněme střední... kde adopce mimo "Shadow AI" (placená nebo i free) je cca následující:

• pár lidí z obchodu a marketingu dostalo Microsoft Copilot, mají ho cca rok teď
• pro asi 70 vybraných lidí z vývoje (asi tak 20% celého vývoje?) se teď zkusil na měsíc "pilotně Cursor"

[Max]

To je u technického korporátu docela dost pomalá adopce, řekl bych.
Proč to tak dlouho trvá? Děláte nějaké dlouhodobé analýzy bezpečnosti a kvality kódu?
U nás používají AI všichni interní devs, co dělají na novém IS. Marketing/komunikace, pokud se tomu tak dá říká, to samé.
Dokonce jsme měli bezpečnostní audit a auditor vše nahrával na diktafon, pak to prohnal přes AI, co mu to přepsala a udělala výcuc a měl "hotovo".
Zdar Max

[Ariczek]

Důvody... asi jen můžu hádat, jsem dev.

Finance, ono to něco stojí v kolonce investice.

Lidi - speciálně na IT se tu lidi pořád mění... a management má asi jiné priority než adopci AI...

Security - asi 3 roky zpátky na to ani nebyl dedikovaný člověk...

Zaměření - třeba pro mě je použitelný "vývoj android" obecně pro cca 10% toho co dělám. Pro zbytek nad tím potřebuju proprietární NDA nadstavbu (mnoho knihoven, 500 stránek dokumentace, examply - dotazy na placený support, když něco nejde), kterou general AI neměla v učících datech...

A ano, většina toho co děláme spadá pod PCI, hlavně DSS.

[Max]

Díky za vysvětlení.
Zdar Max

[vencour]

Řekněme, že máš pravdu, člověk musí být bdělejší. A víc se nahoní.

ALE nějaká pravidla už tu jsou. Nikdo nemá mít tak absolutní moc v rámci organizace, aby jen na něm bylo vše. Jen je to teď vše víc vidět, co se děje a jaké jsou možnosti.
Když se něco děje (objevilo), koukam, co na to říká DTAG - je tam zip a něco jako základní doporučení ke všemu (pravda AI přímo ne), principu se drží stále stejného, kiss.

[//]

ale jo, v necem mas docela prehled, abych ti zas uplne nekrivdil furt :))

> Prompt Injection

*tohle* mne nekonecne stve, ze neni, jak rozumne vyresit... moc rad bych nechal lidi postovat navrhy na vylepseni tak, aby to cely vyresila automaticka pipeline... ale kdyz nemam jak ocistit vstup, tak si o tom muzu nechat jenom zdat...

[Max]

Nebudu zastírat, že jsi mně lehce zklamal, čekal jsem, že dostanu pořádnou bídu :)
Zdar Max

[vencour]

Pořádnou bídu? Proč mam pocit, že u vás je bezpečnost na pořadu dne "teprve až ji vedení povolí"?

[Max]

:D
Zdar Max

[|🇵🇸]

Je čeho se bát – konkrétně AI psychózy u některých jedinců.

[vencour]

Jak vlastně řešíte nějakého externistu ve své síti? Čím zásadním se liší od AI? Liší se vůbec?

[Max]

Dříve jsme jim ani nezakládali účty v AD apod. V dnešní době ale už sjednocujeme, dáváme jim účty do AD, mají vyhraněnou subdoménu (neco@ext.firma.tld) s utaženými politikami, abychom je nějak rozlišli. Mají vlastní síť více utaženou na fw. Přístupy se snažíme řídit přes IDM. Na přístupy do DB máme sadu skriptů a dev má přístup skutečně jen tam, kam potřebuje atd.
Zdar Max

[X]

Tochu to pripomina obdobi s ransomware. Clovek je proste slaby clanek s tim moc neudelas. Trochu pomuze vseobecna osveta ie. vysvetlit lidem co to je, jak to fungunje a jake to ma uskali. Napriklad pouziti AI podminit absolvovanim zakladniho skoleni.

[Max]

Školení na AI děláme v rácmi firmy. Každopádně řekl bych, že je to jako s phishingem. Máš procentuální zastoupení lidí, co to prostě nedají (buď kvůli nedostatkům, nebo schválně). To zastoupení bude mnohdem menší, než u phishingu, ale je tam. U Phishingu to je klidně 30% (záleží na typu zamců / zaměření firmy), u AI dáváš jasný rámce, co kdo může, takže tím minimalizuješ problém u lidí, co tomu moc nehoví, ale stále budeš mít několiaprocentní zbytek. Ransomware je dnes putna, protože prevence v nastavení zabezpečení udělala to, že jsme za posledních 10 let měli nula incidentů. Dokud člověk nešel do cloudu, byl phishing také putna. S příchodem cloudu a AI je nutnost ošetření lidského faktoru kruciální a je to obrovský problém.
Zdar Max

[plostenka]

1) Korporat zalozi vlastni AIitM model, ktery automaticky zkontroluje jestli data/zpravy z firmy muzou ven nebo ne. A bud konkretni zpravu pusti dal do externiho modelu, nebo pojebe autora.

2) Lidi se nauci po par pojebech posilat citlivy data tak, aby to MitM nezdetekoval. A sefove si neexistenci MitM vydupou befehlem na IT.

3) Nasadi se nova vrstva hoven...