Bezpečnost AI, je čeho se bát? (diskuse)

[RealJ]

Chybi ti v tom zneuzivani agentu k utokum... videl jsem u anthropicu jak si nekdo napsal ransomware agentem, dalsi priklad byli cinani kdy si provozovali celou infrastrukturu prostrednictvim agentu - od identifikace cilu, pres zjistovani zranitelnosti az po exploitaci a pohyb uvnitr infrastruktury. Vse prostrednictvim agentu, minimalni zasahy ze strany operatoru. Dnes misto timu o 50ti lidech ti staci par lidi kteri ti budou koordinovat vicero utocnych projektu. A jinak souhlas, je to pruser kdekoliv se podivam.

[Max]

To je spíše zneužívání AI k nekalým praktikám. Je jasné, že když AI ulehčí práci devíkovi a dalším, že to ulehčí práci i těm, co dělají zlotřilosti.
Nový obor, nové nebezpečenstvo, hodně změn, začátky většinou nebývají ideální.
Zdar Max

[Ariczek]

A pak jsou tu technické korporáty, řekněme střední... kde adopce mimo "Shadow AI" (placená nebo i free) je cca následující:

• pár lidí z obchodu a marketingu dostalo Microsoft Copilot, mají ho cca rok teď
• pro asi 70 vybraných lidí z vývoje (asi tak 20% celého vývoje?) se teď zkusil na měsíc "pilotně Cursor"

[Max]

To je u technického korporátu docela dost pomalá adopce, řekl bych.
Proč to tak dlouho trvá? Děláte nějaké dlouhodobé analýzy bezpečnosti a kvality kódu?
U nás používají AI všichni interní devs, co dělají na novém IS. Marketing/komunikace, pokud se tomu tak dá říká, to samé.
Dokonce jsme měli bezpečnostní audit a auditor vše nahrával na diktafon, pak to prohnal přes AI, co mu to přepsala a udělala výcuc a měl "hotovo".
Zdar Max

[Ariczek]

Důvody... asi jen můžu hádat, jsem dev.

Finance, ono to něco stojí v kolonce investice.

Lidi - speciálně na IT se tu lidi pořád mění... a management má asi jiné priority než adopci AI...

Security - asi 3 roky zpátky na to ani nebyl dedikovaný člověk...

Zaměření - třeba pro mě je použitelný "vývoj android" obecně pro cca 10% toho co dělám. Pro zbytek nad tím potřebuju proprietární NDA nadstavbu (mnoho knihoven, 500 stránek dokumentace, examply - dotazy na placený support, když něco nejde), kterou general AI neměla v učících datech...

A ano, většina toho co děláme spadá pod PCI, hlavně DSS.

[Max]

Díky za vysvětlení.
Zdar Max

[vencour]

Řekněme, že máš pravdu, člověk musí být bdělejší. A víc se nahoní.

ALE nějaká pravidla už tu jsou. Nikdo nemá mít tak absolutní moc v rámci organizace, aby jen na něm bylo vše. Jen je to teď vše víc vidět, co se děje a jaké jsou možnosti.
Když se něco děje (objevilo), koukam, co na to říká DTAG - je tam zip a něco jako základní doporučení ke všemu (pravda AI přímo ne), principu se drží stále stejného, kiss.

[//]

ale jo, v necem mas docela prehled, abych ti zas uplne nekrivdil furt :))

> Prompt Injection

*tohle* mne nekonecne stve, ze neni, jak rozumne vyresit... moc rad bych nechal lidi postovat navrhy na vylepseni tak, aby to cely vyresila automaticka pipeline... ale kdyz nemam jak ocistit vstup, tak si o tom muzu nechat jenom zdat...

[Max]

Nebudu zastírat, že jsi mně lehce zklamal, čekal jsem, že dostanu pořádnou bídu :)
Zdar Max

[vencour]

Pořádnou bídu? Proč mam pocit, že u vás je bezpečnost na pořadu dne "teprve až ji vedení povolí"?

[Max]

:D
Zdar Max

[|🇵🇸]

Je čeho se bát – konkrétně AI psychózy u některých jedinců.

[vencour]

Jak vlastně řešíte nějakého externistu ve své síti? Čím zásadním se liší od AI? Liší se vůbec?

[Max]

Dříve jsme jim ani nezakládali účty v AD apod. V dnešní době ale už sjednocujeme, dáváme jim účty do AD, mají vyhraněnou subdoménu (neco@ext.firma.tld) s utaženými politikami, abychom je nějak rozlišli. Mají vlastní síť více utaženou na fw. Přístupy se snažíme řídit přes IDM. Na přístupy do DB máme sadu skriptů a dev má přístup skutečně jen tam, kam potřebuje atd.
Zdar Max

[X]

Tochu to pripomina obdobi s ransomware. Clovek je proste slaby clanek s tim moc neudelas. Trochu pomuze vseobecna osveta ie. vysvetlit lidem co to je, jak to fungunje a jake to ma uskali. Napriklad pouziti AI podminit absolvovanim zakladniho skoleni.

[Max]

Školení na AI děláme v rácmi firmy. Každopádně řekl bych, že je to jako s phishingem. Máš procentuální zastoupení lidí, co to prostě nedají (buď kvůli nedostatkům, nebo schválně). To zastoupení bude mnohdem menší, než u phishingu, ale je tam. U Phishingu to je klidně 30% (záleží na typu zamců / zaměření firmy), u AI dáváš jasný rámce, co kdo může, takže tím minimalizuješ problém u lidí, co tomu moc nehoví, ale stále budeš mít několiaprocentní zbytek. Ransomware je dnes putna, protože prevence v nastavení zabezpečení udělala to, že jsme za posledních 10 let měli nula incidentů. Dokud člověk nešel do cloudu, byl phishing také putna. S příchodem cloudu a AI je nutnost ošetření lidského faktoru kruciální a je to obrovský problém.
Zdar Max

[Xerces]

Když to nedaj, tak ať jdou k pásu. Firma není zaopatřovací ústav.

[Max]

Ale my se bavíme i o lidech za tím pásem
Každý zaměstnanec by měl mít účet, protože s nimi jednak potřebuješ ofiko komunikovat, druhak se musí nějak hlásit do systémů jako intranet (každý zaměstnanec by měl mít přístup ke směrnicím, ale ty by zase neměli být public pro celý svět apod.) a případně i jinam.

Takže máš v cloudu uživatele technikou nepolíbené, zároveň mají mailbox, nějaké přístupy apod. Takže musí mít MFA, musí projít školením, jsou potencionální slabinou v tom, že mohou snadněji podlehnout phishingu, ten pak rozesílat dál jako důvěryhodnější identita atd. Rozjíždí se pak celé kolečko. Záleží pak na spoustě věcech, co a jak kde zakázat, aby jsi minimalizoval rizika.
Zdar Max

[ehmmm]

Tak to jsi jeste nevidel lidi za pasem. :)

Nekteri neumi cesky, nekteri umi pouze spatne cist a psat. Potrebuji pouze cip, aby si pipli prichod a odchod a aby dostali v kantyne obed. Delaji pouze praci, ktera se zatim spatne automatizuje. A i tak se snimaci hlida, jestli berou sroubek ze spravne krabicky a jestli ho elektrickym sroubovakem utahli spravnym momentem a odpovidajicim poctem zavitu. Na druhou stranu i v teto cinnosti dokazou vymyslet takove triky, jak to odrbat, ze by se i AI divila jejich fantazii.

[Max]

Jsem strojař, měl jsem i školní praxi v podobě práce za pásem. Takže kromě toho, že jsem se podílel na výrobě jednoúčelových strojů do seriové výroby, tak jsem si to i vyzkoušel z pozice člověka za tím pásem. Tenkrát tam byla třeba i nějaká vysokoškolačka, co si chrochtala blahem, že jí práce vyhovuje, bo může vypnout mozek.
Pro mně to ale byly nekonečné otrokářské galeje, kde každá minuta pocitově trvala hodinu.
Zdar Max

[Aleš Kapica]

… tak jsem si to i vyzkoušel z pozice člověka za tím pásem. Tenkrát tam byla třeba i nějaká vysokoškolačka, co si chrochtala blahem, že jí práce vyhovuje, bo může vypnout mozek.

Práce na páse je významný, dosud nedoceněný motivační prvek. Kupř. zvěrokleštičku nakopla práce u pásu v konzervárně do té míry, že odpromovala s červeným diplomem a své dcery kope do zadku seč může, aby u něj neskončily.

A nepoučitelným osobám, s nedostatkem imaginace a empatie, doporučuji ke shlédnutí 90 let starý Chaplinův film Moderní doba.

[Radovan]

Zažil jsem kdysi firmu, kde managoři rozesílali podřízeným rozkazy mailem, ale ti měli zablokovaný přístup na síť, aby třeba netrávili pracovní dobu browsením na Internetu. Takže si je museli číst doma a řešit až druhý den. Pro sekretářku úplně ideální stav, ne?

Mimochodem, ten kanál, který to vymyslel, nedokázal říct či napsat ani krátkou větu bez minimálně dvou sprostých slov. Zato tenhle třicetiletý smrad řval na lidi, že jestli se jim něco nelíbí, tak můžou jít, protože za bránou čeká padesát dalších. V době, kdy ta firma byla tak profláklá, že ani Ukrajinci v ní dělat nechtěli, a museli vozit otroky z Bulharska.

Aktuálně, na počítači, kde se evidují příchody a odchody, jdou špatně hodiny, ale kvůli "zabezpečení" W11 nemůžu nastavit správný čas. Pochopitelně má přístup jen do intranetu, ale seřídit se podle serveru neumí. Takže ten program sice zaznamenává čas ze serveru, na kterém běží, ale nikdo neví, jaký to bude. Hlavně že funguje jen v Edge, jiný prohlížeč odmítá.

[plostenka]

zaměstnanec by měl mít účet, protože s nimi jednak potřebuješ ofiko komunikovat

Oficialne komunikujou s vedoucim smeny slovne nebo jmennou obalkou z rozdelovniku.

přístup ke směrnicím, ale ty by zase neměli být public pro celý svět

Delas jako by smernice nekoho zajimaly. Nezajimaji, a to ani kdyz z nich udelas povinne skoleni. Takze sanon v kuchynce zustane netknuty az do dalsiho sekretarcina prichodu.

mají mailbox, nějaké přístupy apod. Takže musí mít MFA

Bezny pracant vubec nemusi mit vlastni email, pristupy buh vi kam... jenom RFID pres vratnici a do kantyny. Na stavbach, v lese, zemedelstvi... ani to ne, staci se vubec dostavit.

[Max]

Směrnice nezajímají nikoho, ale reálně musí být dostupné. Tj. ano, jedná se o účty pro papíry, které nikdo nikdy číst nebude. Prostě byrokracie. A takové věci jsou nutné, pokud chceš plnit různé ISO apod. Pokud to nemusíš řešit, buď rád.
Zdar Max

[plostenka]

1) Korporat zalozi vlastni AIitM model, ktery automaticky zkontroluje jestli data/zpravy z firmy muzou ven nebo ne. A bud konkretni zpravu pusti dal do externiho modelu, nebo pojebe autora.

2) Lidi se nauci po par pojebech posilat citlivy data tak, aby to MitM nezdetekoval. A sefove si neexistenci MitM vydupou befehlem na IT.

3) Nasadi se nova vrstva hoven...

[Xerces]

Tomu říkám realistický pohled na věc. Vy jste určitě ředitel nějakého korporátu.

[vencour]

Co se inspirovat, co dělaj za velkou louží? AI Use by the US Government.