Az új Google Nested Learning modell: a mesterséges intelligencia tanulási forradalma a katastrophális felejtés ellen

• Google bemutatta az új Nested Learning tanulási paradigmát, amely az AI-modellek “katastrofális felejtését” hivatott megállítani[^1].
• Az emberi agy működését imitálva több szintű, hierarchikus memóriarendszert valósít meg.
• Az új HOPE-architektúra jelentős teljesítményjavulást ért el a hosszú távú memóriát igénylő feladatokban.

Google Research kutatói egy forradalmian új tanulási modellt, az ún. Nested Learning-et mutatták be, amelynek célja az AI-modellek egyik legnagyobb problémájának, a katastrophális felejtésnek a kezelése. Az új modell a mesterséges intelligencia rendszereknél eddig megszokott együtemű tanulási sebesség helyett többszintű, különböző időskálákon frissülő memóriarendszert alkalmaz, ezzel közelítve az emberi agy működéséhez.

Az AI-modellek katastrophális felejtésének problémája

Az eddigi AI-modellek, különösen a nagy nyelvi modellek, nem képesek új, hosszú távú emlékeket kialakítani a kezdeti betanítás után. Ez a hiányosság hasonló az amnéziában szenvedő betegek állapotához, ahol a tudás csak az aktuális kontextusra vagy a betanítás során tanultakra korlátozódik[^1].

A jelenlegi modellek minden paraméterüket egyszerre, ugyanazzal a sebességgel frissítik, így egy új információ tanulása közben gyakran elvesznek a korábbi tudáselemek – ezt nevezik katastrophális felejtésnek. Ez azt jelenti, hogy a modell, miközben új feladatokat tanul, romlik a teljesítménye a korábban elsajátítottakon.

Az emberi agy mint inspiráció

Google kutatói az emberi agy tanulási és memóriaműködését vették alapul. Az agy több szintű, különböző időskálájú memóriafolyamatokat alkalmaz: gyors, rövid távú (például munkaemlékezet), valamint lassabb, szelektív, hosszú távú emlékezeti rendszereket, melyek csak ritkán frissülnek, de a fontos információkat tartósan megőrzik[^1].

„Az emberi agy egyszerre képes alkalmazkodni és stabil maradni: a struktúráját folyamatosan módosítja az új élmények hatására, miközben a régi emlékeket is megőrzi.”

Nested Learning és a Continuum Memory System

Többszintű frissítések és memóriamodulok

Az új Nested Learning paradigma szerint minden AI-modell elem – beleértve a tanítási algoritmusokat is – memóriarendszerként értelmezendő. Ezek különböző frissítési gyakorisággal működnek: a gyors szintek az aktuális bemeneteket kezelik, míg a lassabbak csak időnként integrálják a fontos mintákat, így mélyebb, tartósabb tudás jön létre.

Az úgynevezett Continuum Memory System (CMS) nemcsak rövid- és hosszútávú memóriát különít el, hanem több, különböző frissítési gyakoriságú memóriamodult alkalmaz, amelyek rugalmasabban kezelik a tudásbevitelt és -megtartást.

HOPE-architektúra: Gyakorlati megvalósítás

Titán-modulok és kontextus alapú tanulás

A kutatók a Nested Learning elveit a HOPE-architektúrában valósították meg. A HOPE több szinten, változó kontextusméretekkel és frissítési rátákkal dolgozik. A legfontosabb információkat a rendszer a „meglepetés” mértéke alapján prioritizálja: minél nagyobb az eltérés a modell előrejelzése és a valós adat között, annál erősebben rögzíti azt a hosszú távú memóriában.

„A HOPE modell képes önállóan alakítani a saját memóriastruktúráját, folyamatosan frissítve a fontos tapasztalatokat.”

A HOPE modell ezzel szembemegy az eddigi gyakorlattal, ahol egy modellt egyszer betanítanak, majd „lefagyasztják” a paramétereit. A Nested Learning révén a modellek folyamatosan képesek tanulni és a működésük során szerzett tapasztalatokat tartós tudássá alakítani.

Teljesítménytesztek és eredmények

A HOPE-architektúra különböző feladatokon – például nyelvi modellezés és “needle-in-haystack” tesztek – felülmúlta a Transformer++, RetNet és DeltaNet modelleket. A 1,3 milliárd paraméteres, 100 milliárd tokenen tanított modelleknél HOPE mutatta a legalacsonyabb veszteségi értéket és a legjobb benchmark-teljesítményt, különösen a hosszú távú memóriát igénylő feladatokban[^1].

A kutatók hangsúlyozták, hogy a jövő mesterséges intelligenciájának fejlődése nem pusztán a paraméterszám növelésén, hanem a tanulási és memóriasebességek hierarchiájának gazdagításán múlik.

Összefoglaló: Az AI tanulás új korszaka

Az Google Nested Learning paradigmája és a HOPE-architektúra jelentős előrelépést jelentenek a mesterséges intelligencia folyamatos tanulásában és a katastrophális felejtés kiküszöbölésében. Az emberi agy működését utánzó, többszintű memóriarendszerek a jövőben kulcsfontosságúvá válhatnak az önfejlesztő, rugalmas AI-modellek terén.

Forrás:

[^1]: The Decoder (2025. 11. 22.). “Neues Lernmodell von Google soll katastrophales Vergessen in KI-Systemen stoppen”. Közzétéve [2025. 11. 22.].