A Gartner a héten tartja Sydneyben a Security & Risk Management Summit rendezvényét, melynek egyik előadása a Microsoft Copilottal kapcsolatos biztonsági kockázatokkal foglalkozott. A The Register helyszíni beszámolója szerint a Gartner egyik témában jártas elemzője itt sütötte el félig-meddig tréfálkozva, hogy a szervezetek talán jobban tennék, ha péntek délutánonként teljesen megtiltanák a kollégáknak, hogy Redmond digitális asszisztensére bízzák a feladataik elvégzését. Az amerikai piac- és tanácsadónál kutatási alelnökként dolgozó Dennis Xu mindezt azért veti fel, mert a mesterséges intelligencia használata nem csupán technológiai, hanem fegyelmi, azaz emberi kérdés is.

Hál' isten péntek van!

Az elemző szerint a munkahét végére a felhasználók egyszerűen túl fáradtak vagy lusták ahhoz, hogy érdemben ellenőrizzék az MI által generált kimeneteket. Márpedig a generatív algoritmusok "jó szokása" szerint a Copilot is rendszeresen képes hallucinálni, valótlanságokat tényként beállítani. Xu úgy látja, különösen veszélyesek azok az esetek, amikor a chatbot ugyan ténybelileg helyes, de stílusában toxikus, kulturálisan kifogásolható vagy a vállalati etikai kódexbe ütköző válaszokat ad. A heti roboton már csak túlesni akaró kollégák pedig péntek délutánonként nagyobb arányban ugorhatják át az ilyen problémák kiszűrésére alkalmas ellenőrző köröket.

Az előadás egyébként a Copilot 5 legkomolyabb biztonsági kockázatát ígérte felfedni, így a pénteki lazaságban rejlő csapda mellett szóba kerültek a túlosztott (over-shared) dokumentumok is. Ez a kockázat ugyan már az MI-assziszensek megjelenése előtt sem volt ismeretlen, de a Copilot munkafolyamatokba integrálása mindezt felerősíti. Sok szervezetnél rengeteg érzékeny fájl érhető el olyan munkatársak számára is, akiknek nincs rájuk szükségük, de a hagyományos keresőkkel ezeket nehéz volt megtalálni. A Copilot azonban "tálcán kínálja" ezeket az információkat, ha a jogosultságkezelés nincs tűpontosan beállítva. Éppen ezért kulcsfontosságú a hozzáférési szintek és jogosultsági körök radikális felülvizsgálata.

A kárt okozó injekció

A technikaibb jellegű fenyegetések között az elemző kiemelte a távoli kódvégrehajtás (RCE) új értelmezését. A rosszindulatú promptok segítségével a támadók kódinjektálást kísérelhetnek meg, amihez a Copilot akaratlanul is asszisztálhat, ha hozzáfér az e-mailekhez vagy külső forrásokhoz. A védekezés kulcsa itt az instrukciós szűrők alkalmazása és az MI hozzáférésének korlátozása a potenciálisan veszélyes bemeneti forrásokhoz.

Szintén kockázatot jelent a harmadik féltől származó SaaS-alkalmazások összekapcsolása a Copilottal. Bár a Microsoft alapértelmezés szerint kikapcsolva tartja a külső appok bővítményeit, a webes tartalmak elérését engedélyezi. Xu azt javasolja a biztonságért felelős informatikai vezetőknek, hogy csak a legszükségesebb esetekben engedélyezzék a külső adatforrások becsatornázását, és minden esetben alkalmazzanak szigorú prompt-injektálási védelmet.

Az előadásban bemutatott kockázatok utolsó szeletét az LLM-alapú csevegőrobotokba épített biztonsági korlátok áthágását célzó promptbeillesztések adják. A Gartner vezető szakértője szerint ez ellen megfelelő szabályok életbe léptetésével és a kollégák képzésével, tájékoztatásával lehet fellépni, de érdemben segíthetnek az Azure OpenAI szolgáltatásban elérhető tartalombiztonsági szűrők is.