Azt gondolhatnánk, hogy egy olyan rendszer, amely minden interakció után "okosabb" lesz, ellenállóbb a kiberkockázatokkal szemben. Főleg ha "okosságának" része egy olyan önjavító funkció, amely automatikusan keresi és foltoz be azokat a réseket, amelyeken a kiberbűnözők házon belülre juthatnának.

A BSIMM (Building Security in Maturity Model) jelentés idei, 16. kiadása ezzel szemben a technológia kétarcúságáról beszél. A mesterséges intelligencia gyorsíthatja az innovációt, és csökkentheti a kockázatokat – másfelől rejtett sebezhetőségek tömegét hozhatja a rendszerekbe, szélsőséges esetben a legnagyobb támadási felületté válhat. De a kétarcúság más szempontból is érvényesül: ahogy a védelem, úgy a támadások is jelentős mértékben támaszkodhatnak rá.

AI-jal a mesterséges intelligencia ellen

Az ausztrál, brit, kanadai, új-zélandi és amerikai hírszerző ügynökségek vezetőit tömörítő Öt Szem egy néhány hónapja kiadott nyilatkozata is erre hívta fel a figyelmet. Szerintük az AI biztonságra gyakorolt hatása amiatt is óriási, mert hamis biztonságérzetet ad azáltal, hogy segíti a kibervédelmi fejlesztéseket. Azt már sokan figyelmen kívül hagyják, hogy az AI a kiberfenyegetések sebességét, kiterjedtségét és kifinomultságát is jelentősen növeli.

Összeállításunk előző részében áttekintettük, milyen üzleti kockázatokkal jár, ha egy szervezet átgondolatlanul, megfelelő kontrollok beépítése nélkül építi be folyamataiba az AI-megoldásokat. Bár az üzlet szempontjából a végeredmény fontos, nagyban hozzájárul egy cég rezilienciájához, ha széles körben tisztában vannak azokkal a támadási vektorokkal, amelyek közvetlenül a mesterséges intelligenciát célozzák.

Úgy tűnik, a kiberbiztonsági megoldások gyártói is tisztában vannak ezzel: szinte kivétel nélkül magasabb fokozatra kapcsolták a mesterséges intelligencia kockázataival kapcsolatos ismeretterjesztő tevékenységüket. A SentinelOne szakmai blogjában például a témákat jó ideje az AI uralja, de ugyanezt láthatjuk a Palo Alto Networksnél, ahogy a többi gyártónál is. Az ok érthető: az új generációs, mesterséges intelligenciával kapcsolatos támadások zavart okoztak a szervezetek védelmi rendszereiben, és megkérdőjelezték a felkészültségüket. Nemcsak a védekezés hatékonysága vált kérdésessé, hanem a kockázatértékelés és a megfelelőség bizonyíthatósága is, derül ki a Palo Alato Networks egy frissen publikált kutatásából.

Hogyan szállt be Akhilleusz az AI-ba?

A SentinelOne egy tanulmánya az AI biztonsági kihívásait négy pontban foglalja össze: védeni kell magát a modellt, a képzési adatkészletet, a modell felépítésének és telepítésének folyamatát, valamint azt az infrastruktúrát, amelyen az AI fut. Minden egyes területet más-más támadástípusok veszélyeztetik. Például meg lehet bénítani az AI-workflow-kat, ha zsarolóvírus-támadásokkal elérhetetlenné teszik a betanítási adatkészleteket. Injekciós támadásokkal a hasznos chatbotokból adattolvajokat lehet "nevelni". Az adatmérgezés rontja a modellek pontosságát, sőt segít backdoorokat építeni egy rendszerbe, hogy később azon keresztül lehessen támadni.

A kockázatokat hatványozza a probléma másik oldala: tudniillik hogy a támadók AI-jal támadnak. Emiatt a támadások olyan sebességgel skálázódnak, amivel az emberi reakcióidő nem tudja felvenni a versenyt. Mint a Palo Alto Networks egy másik elemzésében fogalmaz: a hagyományos kibertámadások olyan jól látható hibákat okoznak, amelyek azonnal nyomot hagynak a logokban. Az AI-modellek elleni támadások többsége azonban észrevehetetlen a hagyományos tűzfalak és vírusirtók számára. Az inputok teljesen legitimnek tűnnek, a kár pedig "csendes": lépésről lépésre, időben elnyújtva torzul egyre jobban a modell pontossága és megbízhatósága, ami vállalati környezetben téves üzleti vagy biztonsági döntésekhez vezet.

Emiatt ma már olyan technikákat kell alkalmazni, mint az ellenérdekű tesztelés (adversarial), amikor szándékosan teszik próbára a modellt rosszindulatú vagy manipulált bemenetekkel. Vagy például elengedhetetlenné vált a model provenance tracking alkalmazása, amikor feltérképezik a modell eredetét és fejlesztési előzményeit (kik és mikor fejlesztették), milyen adatkészleten képezték, és az honnan származik, hogyan épül fel a modell architektúrája, milyen biztonsági, pontossági vagy etikai teszteken ment át és milyen eredménnyel stb. Egy AI-workflow-ban ma már kötelező alapelem lenne a bemenet fertőtlenítése is.

Az OWASP idei jelentése szerint a mesterséges intelligenciát érintő három legsúlyosabb biztonsági kihívás közvetlenül az AI-modelleket fenyegeti.

Az első számú veszélyforrás a prompt injection, azaz az utasítás-befecskendezésen alapuló támadás. Ilyenkor a támadók olyan rosszindulatú utasításokat igyekeznek bevinni a modellbe, melyek felülírják az eredeti rendszerutasításokat. Lényegében megváltoztatják a modell szabályait. Ez az OWASP tanulmánya szerint gyakorlatilag minden publikus LLM-nél előidézhető.

Az AI-alkalmazások mintegy kétharmadára jelent veszélyt a hidden context exposure, a rejtett kontextus felfedése. A támadó kinyeri a felhasználó számára amúgy láthatatlan rendszerutasításokat, működési kontextust, szabályzatlogikát stb. Ezek birtokában üzleti titkokhoz férhet hozzá, biztonsági réseket aknázhat ki, de akár a modellre épülő chatbotok személyiségét, hangnemét és biztonsági kereteit is módosíthatja.

Szintén közvetlenül a modellek ellen irányul a data poisoning, azaz az adatmérgezés. Ilyenkor a támadók a tanítási vagy finomhangolási fázisban lépnek akcióba, és fertőzött, hibás vagy manipulált adatokat próbálnak bejuttatni a rendszerbe. Az OWASP elemzése szerint ez az egészségügyi területen, például diagnosztikához használt AI-modellek 99 százalékára jelent veszélyt. Itt ugyanis minimális adatmérgezés is jelentősen rontja az AI-alapú alkalmazások hatékonyságát.

A kiberbiztonsági cégek a modellklónozási és -lopási támadások kockázatait is gyakran említik a kiemelt veszélyek között. Az ilyen támadások során folyamatos lekérdezésekkel feltérképezik a modell súlyait, döntési határait, melyekből rekonstruálhatják a teljes működését. Ez nemcsak az adott rendszerben felhalmozott szellemi tulajdont veszélyezteti, hanem a jövőbeli támadások előtt is utat nyit.

Szemléletváltás és technológia

És hogy mi a megoldás? Egyre több olyan modern biztonsági megoldás jelent meg a piacon, amely a gépi tanulás révén gépi sebességgel igyekszik megakadályozni a gépi sebességgel érkező támadásokat. Ezek a megoldások biztosítják a fenyegetések valós idejű észleléséhez és megállításához szükséges technikai képességeket.

Ugyanakkor a megoldásgyártók is arra figyelmeztetnek, hogy a technológia önmagában kevés. Az AI-alapú biztonsági megoldásokhoz érvényesíthető szabályzatok és eljárások kellenek. Ezek mentén jöhet létre azt az irányítási keretrendszer, amely biztosítja az egységes biztonsági gyakorlatok kialakítását és alkalmazását.

Ez a cikk független szerkesztőségi tartalom, mely a Clico Hungary támogatásával készült. Részletek »