Hiába fejlődik a terület öles léptekkel, a digitális asszisztensek egyelőre inkább szórakoztató, mint pontos válaszokat adnak.

Tavasszal már beszámoltunk egy tesztről, ahol a legnagyobb szállítók digitális asszisztenseit tették próbára. Az ötezer, kizárólag ténybeli tudásra kíváncsi kérdéssorozatra adott gépi válaszok elemzésekor kiderült, hogy a mesterséges intelligenciával felvértezett szoftverek egyelőre sokkal inkább mesterségesek, mint amennyire intelligensek.

Senki sem tökéletes, pláne nem a gépek

Nemrégiben egy sokkal kisebb léptékű vizsgálat eredményeit is publikálta egy technológiai szektorban dolgozó blogger, aki hasonlóan negatív eredményre jutott. Ez utóbbi tesztből azonban az is kiderült, hogy a megoldások mindegyike képes valamely jól elkülöníthető témában elfogadható színvonalú válaszokat adni.

A négy alany ezúttal is a Google Home-ba ágyazott Assistant, az Amazon Echóban szolgálatott teljesító Alexa, az Apple mobil eszközeiben használt Siri és a Microsoft Cortanája volt. A blogger száz kérdést tett fel a gépeknek tíz különféle témában. A teszt során igyekezett természetes, emberek közötti beszélgetések során is elhangzó kérdéseket konstruálni, mivel alapvetően is ezek megválaszolása lenne a program egyik feladata.

 

A fenti diagrammon az látszik, hogy egy-egy területen milyen arányban bizonyultak pontosnak az asszisztensek. A 10 jelentené az abszolút maximumot, ám még a legnagyobb oszlop is csak 7-es értékig tudott felkúszni. A specializáció könnyen tettenérhető például a helyi és utazási információk kategóriában, ahol a saját térképszolgáltatására támaszkodó Google vitte a pálmát. Vásárlási ügyekben pedig az ebből élő Amazon algoritmusának nem volt párja. Az viszont több mint furcsa, hogy az Alexa teljesen fogalmatlannak bizonyult tévés, filmes kérdésekben. Az online tévés szolgáltatóként is működő Amazon házi segédje még a cég saját készítésű műveivel kapcsolatban sem tudott korrekt válaszokat adni. 

Az asszistensek egyetemlegesen megbuktak az álhírek kiszúrásánál: alig akadt olyan kérdés, amire ne valamelyik ilyen célra kitenyésztett álhíroldal anyagát mondták volna vissza a segítőkész algoritmusok. Szintén nem megy (egyelőre) a gépeknek az összetettebb kérdések értelmezése, ahol nem egy lépésből, hanem valamiféle logikai reláció útján kellene eljutni a válaszig.

A legjobb sem elég jó

Az összesen száz kérdés pontosságát mutató alábbi grafikon elég kiábrándító helyzetet mutat. A gépi asszisztensek közül a legpontosabb választ adó Google-algoritmus is mindössze a kérdések felében tudott értékelhetőt nyújtani, ráadásul utóbbiak majdnem felében a válasz csak részleges volt, esetleg túlságosan terjengős ahhoz, hogy valódi sikerként lehessen elkönyvelni.

 

 

A többiek nagyjából 25-30 százalék között teljesítettek, de ezek között is bőven akadt csak részlegesen elfogadható válasz. A blogger egy ötödik oszlopot is beszúrt az eredményekhez. Az Amalgam névre keresztelt hipotetikus asszisztens a négy valódi versenyző legjobb közös metszetét adja. Azaz ha minden rendszerből a lehető legjobb válaszokat válogatnánk össze, már egészen elfogadható, 75 százalékhoz közelítő sikerességi arányt kapnánk.

Magad uram...

Összességében tehát elmondhatjuk, hogy bár egyes kérdésekre egyes szoftverek egészen meglepően pontos válaszokat adtak, a digitális asszisztensek egyelőre nem tekinthetők értelmezhető és pláne nem konstans minőségű segítségnek. Amíg a technológia nem lép egy újabb szintet, többre megyünk, ha magunk nézünk utána a problémának egy sima keresés lefuttatásával.

Cloud & big data

CIO Podcast #75: A nagyvállalatok is early adopterré válhattak a CIO Hungaryn

Három szakember az innovációk gyors alkalmazásának az üzleti és technológiai előnyeiről és lehetséges kockázatairól.
 
Hirdetés

A tétlenség ára, avagy a legacy rejtett költségei

A legtöbb vállalat a modernizáció költségeit számolja. A valódi üzleti kockázat azonban gyakran nem a változtatás ára, hanem annak elhalasztása.

Hirdetés

Forradalom az IT-ban – forradalom az IT-biztonságban

A generatív mesterséges intelligencia, AI-alapú automatizálás, az agentic AI alapjaiban rajzolta át a vállalatoknál az IT és az üzlet kapcsolatát – és ezzel együtt az IT-biztonsággal kapcsolatos elvárásokat és feladatokat.

Az AI mind több ponton épül be a vállalati folyamatokba, ezért egyre népszerűbb célpontja a kibertámadásoknak. De hol támadható, ha egyszer annyira okos?

a melléklet támogatója a CLICO

Egy kormányrendelet alapjaiban formálják át 2026-tól az állami intézmények és vállalatok szoftvergazdálkodási gyakorlatát.

Projektek O-gyűrűje. Mit tanulhat egy projektvezető a Challenger tragédiájából?

A Corvinus Egyetem és a Complexity Science Hub kutatói megmérték: a Python kódok közel harmadát ma már mesterséges intelligencia írja, és ebből a szenior fejlesztők profitálnak.

Rengeteg ország áll át helyi MI-platformra

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2026 Bitport.hu Média Kft. Minden jog fenntartva.