A MI-benchmarkok bizalmi problémája: így változtatna a Google DeepMind

Röviden:

• A Google DeepMind kriptográfiai módszerrel próbálja megakadályozni, hogy a MI-modellek előre megismerjék a tesztkérdéseket.[^1]
• Az úgynevezett kettős vak értékelésben sem a vizsgáló, sem a modell fejlesztője nem fér hozzá a másik fél bizalmas adataihoz.[^1]
• A módszert egy Gemini Flash Lite modellen, a Singapore AI Safety Institute és további partnerek bevonásával tesztelik.[^1]
• Az eljárás különösen a kiberbiztonsági és az állami vizsgálatokban teheti megbízhatóbbá a modellértékelést.[^1]

Bevezető: miért jelent gondot a MI-benchmarkok szennyeződése?

Ha egy vizsgázó előre ismeri a kérdéseket, az elért eredmény kevésbé alkalmas a valódi képességeinek mérésére. Hasonló probléma merül fel a MI-modellek esetében is: ha a tesztkérdések már a betanítás során bekerültek a modell adatai közé, a benchmarkeredmény nem feltétlenül tükrözi a rendszer önálló teljesítményét. Ezt a jelenséget benchmarkszennyeződésnek nevezik.[^1]

A Google DeepMind ezért olyan kettős vak értékelési eljárást jelentett be, amelyben a külső tesztadatok és a modell súlyai egyaránt kriptográfiai védelem alatt maradnak. A kezdeményezés célja, hogy a független vizsgálatok során egyik fél se ismerhesse meg előre a másik fél érzékeny információit.[^1]

A Google DeepMind kettős vak MI-értékelése

A kísérleti projektben egy, a Gemini Flash Lite modellcsaládba tartozó rendszert bizalmas benchmarkokkal vizsgálnak. A tesztelés a Singapore AI Safety Institute és további partnerek közreműködésével zajlik.[^1]

„A tesztkérdések és a modell egyaránt védett marad, így a vizsgálat egyik résztvevője sem fér hozzá előzetesen a másik fél bizalmas tartalmához.”

– a Google DeepMind ismertetett módszerének összefoglalása

Az eljárás a Google Cloud Confidential Space technológiájára, a vállalat bizalmas számítástechnikai megoldásaira épül. A kriptográfiai ellenőrzés azt hivatott igazolni, hogy a külső tesztadatok és a modellparaméterek a tulajdonosaik számára elkülönítve maradnak.[^1][^2]

A korábbi értékelési kompromisszum

A nagy érzékenységű külső vizsgálatok eddig két nehéz lehetőség között választottak. A vizsgálók átadhatták a tesztkérdéseket a modell fejlesztőjének, ami lehetőséget teremthetett az előzetes alkalmazkodásra. Alternatívaként a fejlesztő átadhatta a modell súlyait, ezzel azonban szellemi tulajdonát és üzleti titkait kockáztatta.[^1]

A forrás egy, az Anthropic által használt ARC-AGI benchmarkhoz kapcsolódó példát is említ. Az értékelések késése összefüggött azzal, hogy a vállalat legerősebb modelljeinél harmincnapos adatmegőrzési előírás volt érvényben.[^1]

Technikai és szerződéses védelem együtt

A külső tesztkérdések bizalmasságát korábban naplózásmentes protokollok és szerződéses garanciák védték. A kriptográfiai biztosítékok ehhez képest technikai szinten is ellenőrizhetővé tehetik, hogy a modell fejlesztője ne lássa a kérdéseket, a vizsgáló pedig ne férjen hozzá a modell súlyaihoz.[^1]

Miért fontos a módszer a kiberbiztonságban?

A kettős vak értékelés elsősorban azokban az esetekben lehet jelentős, amikor a tesztadatok különösen érzékenyek. Ilyenek lehetnek a kiberbiztonsági vizsgálatok, valamint az állami intézmények által végzett modellértékelések.[^1]

Az új megközelítés lehetővé teheti, hogy független szervezetek szigorúbban vizsgálják a fejlett MI-rendszereket anélkül, hogy feladnák az adatszuverenitást vagy veszélyeztetnék a bizalmas modellparamétereket. Ez a felügyelet és az elszámoltathatóság szempontjából is fontos lépés lehet.[^1][^2]

Új szabvány alakulhat ki a modellfelügyeletben

A Google DeepMind szerint a kísérlet hozzájárulhat egy új, megbízhatóbb értékelési szabvány kialakításához. A módszer gyakorlati értékét ugyanakkor a pilotprojekt eredményei, a technikai részletek ellenőrizhetősége és az, hogy más fejlesztők is alkalmazzák-e, határozhatja meg.[^1][^2]

Összefoglaló

A MI-benchmarkok eredményeinek egyik legfontosabb korlátja, hogy a tesztkérdések a betanítás során korábban már megjelenhettek a modell számára. A Google DeepMind kettős vak, kriptográfiailag védett értékelése ezt a bizalmi problémát próbálja kezelni úgy, hogy közben a tesztadatok és a modell súlyai is titkosak maradnak. Ha a megoldás a gyakorlatban is bizonyítja megbízhatóságát, különösen az érzékeny kiberbiztonsági és állami vizsgálatokban válhat meghatározóvá.[^1][^2]

Forrás:

[^1]: Maximilian Schreiner (2026. augusztus 28.). „Miért van bizalmi problémájuk a MI-benchmarkoknak, és hogyan oldaná meg ezt a Google?”. THE DECODER. Közzétéve 2026. 08. 28.

[^2]: Google DeepMind (2026). „Piloting the World’s First Double-Blind AI Evaluations”. Technikai jelentés. Közzétéve 2026. 08. 28.