Amerikai egyetemi kutatói egy új eszköz kifejlesztéséről számoltak be, ami szerintük rendkívüli pontossággal képes azonosítani a generatív MI-alkalmazások és nagy nyelvi modellek (LLM) által előállított szövegeket. A Binoculars néven hivatkozott eljárás ennek alapján jobb teljesítményt nyújt a már rendelkezésre álló megoldásoknál, amelyek az OpenAI ChatGPT-jével és más szolgáltatásokkal gyártott hírek, kreatív írások vagy tanulói fogalmazások kiszűrésére szolgálnak: a vizsgált adatkészletek MI-vel készített mintáinak több mint 90 százalékát észlelte, ráadásul 99,9 százalékos pontossággal, vagyis 0,01 százalék fals pozitív riasztás mellett.

A Business Insider riportja a Binoculars kapcsán emlékeztet rá, hogy a generatív mesterséges intelligencia nem csak amiatt ad okot aggodalomra, hogy a diákok például a sajátjukként adják le az MI-vel tákolt dolgozatokat, hanem amiatt is, hogy sokukat jogtalanul vádolták meg csalással az észlelő eszközök téves eredményei alapján. A lap felidézi, hogy amikor a Vanderbilt Egyetem felhagyott az egyik ilyen program, a Turnitin használatával, akkor annak 1 százalékos hamis pozitív arányára hivatkozott, mivel még abból is az következne, hogy diákok százait vádolhatják meg érdemtelenül a mesterséges intelligenciával való ügyeskedéssel.

Nem tanítják rá semmire, ezért mindenben jobb lehet

A kutatók most azt fontolgatják, hogy technológiájukat egy könnyebben használható, licencelhető termékké fejlesztik. Ahogy egyikük a Business Insidernek elmondta, az LLM-ek kimeneteinek felismerésében nagy előrelépések történtek az elmúlt fél évben, az általuk épített rendszernek pedig az az egyik előnye, hogy a kereskedelmi érzékelőrendszerekkel ellentétben nem hangolták egy-egy MI-modell, mondjuk a ChatGPT nyomainak felismerésére, mégis jobban teljesít azoknál a konkrét esetekben. Ezt a "modellagnosztikus" észlelési képességet kritikusnak tartják a közösségi média moderálását és a platformok integritását illetően.

A "zero-shot" megközelítés mellett a Binoculars egy "előadónak" és egy "megfigyelőnek" használt LLM-et alkalmaz, és azt méri, hogy a vizsgált szövegláncokban a statisztikai alapon működő modellek mennyire értékelik meglepőnek a soron következő elemeket. Az emberek ugyanis ebben a tekintetben kiszámíthatatlanabb dolgokat produkálnak, tehát minél kevésbé éri váratlanul mindkét LLM-et a lánc fejlődése (ezt a dokumentumban "keresztzavarnak" nevezik), annál valószínűbb, hogy a szöveg egy géptől származik – a módszer emellett korrigálja a promptokat adó személyek szerepét is a kimenetekben, amit a fals pozitívok fő okaként jellemeznek.

A Binoculars publikációja a Hugging Face oldalán érhető el »