A biztonsági kutatók már számos olyan technikát azonosítottak, ami alkalmas a mesterséges intelligenciára épülő eszközök feltörésére vagy működésük eltérítésére. Ezek jellemzően olyan befecskendezéses támadások, amelyek az MI-modellek logikai sebezhetőségeit kihasználva, speciális promptok befecskendezésével (prompt injection) bírálják felül a nagy nyelvi modellek (LLM-ek) eredeti utasításait különféle csatornákon, így e-maileken, naplókon, üzenetküldőkön, sőt akár hozzászólásokon vagy üzenetküldőkön keresztül, feltételezve, hogy a támadó rendekezik ilyen közvetlen csatornával a megcélzott felhasználók MI-alkalmazásaihoz.

A Tel-Avivi Egyetem, az Izraeli Műszaki Egyetem (Technion) és az Intuit kutatói azonban egy olyan támadási technikát is bemutattak, ami egyszerűen a mesterségesintelligencia-asszisztensek hallucinációs hajlamát alakítja skálázható támadási vektorrá. A SecurityWeek beszámolója alapján a "nem célzott promptware" módszerhez közvetlen csatornákra sincs szükség: az adversarial hallucination squatting (vagy halusquatting) lényege, hogy a rosszindulatú szereplők előre regisztrálják azokat a hamis repó- vagy csomagneveket, amelyeket az LLM-ek hajlamosak lehetnek kitalálni, ha valamilyen népszerű erőforrás lekérésére utasítják azokat.

Az MI-vel a botnetek is szintet léphetnek

Bár a nagy nyelvi modellek pontossága folyamatosan javul, a hallucináció jelensége továbbra is meghatározza működésüket, így aztán amikor az MI-eszközök harmadik féltől származó szoftvercsomagokat ajánlanak, azok a kelleténél jóval nagyobb valószínűséggel tartalmaznak nem létező neveket is. A kutatók szerint ez a kódolást támogató MI-asszisztensekre általánosan jellemző a Cursortól a Microsoft Copilotjáig, 85-100 százalékos arányban az aktuális mérnöki feladat sajátosságaitól függően. mivel pedig a különböző alapmodellek hajlamosak ugyanazokkal a hallucinált nevekkel előjönni, a halusquatting technika széles körben átvihető.

A támadóknak innentől annyi dolguk van, hogy ténylegesen létrehozzák a hallucinált adattárakat és csomagokat, amelyekbe értelemszerűen rosszindulatú utasításokat ültetnek el. Később aztán a halandzsázó MI tényleg le is hívhatja ezeket a címeket, és végrehajthatja a támadó parancsait további hekkereszközök telepítésére vagy kártékony kódok futtatására. A kutatás kiemeli, hogy a technikát alkalmas ügynöki (agentic) botnetek létrehozására, amelyek mérete nyilván attól függ, hogy az MI milyen gyakran hallucinálja a lefoglalt erőforrások nevét, de megkerülik a hagyományos tűzfalakat, és lényegében bármilyen eszközön megtelepedhetnek.

Részletek a SecurityWeek oldalán »