MIRAS és Titans: A Google bemutatja, hogyan tanulhatnak az MI-modellek tartósan

• A Google hivatalosan bemutatta a Titans architektúrát és az új MIRAS keretrendszert, amelyek lehetővé teszik, hogy a mesterséges intelligencia-modellek folyamatosan tanuljanak és hosszú távú memóriával rendelkezzenek.
• Az új modellek hatékonyabban kezelik a hosszú szöveges vagy genetikai adatsorokat, mint a hagyományos Transformer-alapú megoldások.
• A Titans architektúra kiemelkedő eredményeket ért el több neves benchmark teszten, miközben kevesebb paraméterrel dolgozik, mint a rivális nagy modellek.

A Google bemutatta a mesterséges intelligencia (MI) modellek jövőjét meghatározó újításait: az Titans architektúrát és az MIRAS keretrendszert. Ezek a fejlesztések lehetővé teszik, hogy az MI-rendszerek tartósan tanuljanak, valamint jelentősen hatékonyabban kezeljék a rendkívül hosszú adatsorokat, például könyveket vagy genom szekvenciákat, mint a jelenlegi legelterjedtebb modellek.^{[^1]}

Tartós tanulás és hosszú távú memória: az Titans és MIRAS jelentősége

Az Titans architektúra és az MIRAS keretrendszer bemutatásával a Google mérnökei egy központi problémát céloztak meg a mesterséges intelligencia fejlődésében: hogyan lehet az MI-modelleket úgy tervezni, hogy azok ne csak előre betanított, statikus rendszerek legyenek, hanem képesek legyenek a használat során folyamatosan fejlődni és hosszú távú információkat megőrizni.

Az Titans architektúra működése

Az Titans rendszer egyedülálló módon ötvözi a mesterséges rövid- és hosszútávú memóriát. A modell az információk megtartására úgy dönt, hogy a “meglepetés” mértékét veszi alapul: minél meglepőbb egy információ, annál valószínűbb, hogy hosszú távon is elraktározza. Emellett egy beépített “felejtési mechanizmus” is működik, amely a kevésbé fontos adatokat eltávolítja a memóriából, így optimalizálva az erőforrásokat.^{[^1]}

Különböző memóriamegközelítések

A kutatók három változatot dolgoztak ki a hosszú távú memória kezelésére:

• Memory as Context (MAC): A memória a kontextus részeként működik, különösen jól teljesít nagyon hosszú szekvenciák esetén.
• Memory as Gate (MAG): A memória átjáróként (kapuként) szabályozza az információáramlást.
• Memory as Layer (MAL): A memória a modell rétegeként integrálódik a feldolgozásba.

Az MIRAS keretrendszer: Új elméleti alapok az MI-tanuláshoz

Az MIRAS (Memory-Informed Retrieval and Attention System) egy átfogó elméleti keretrendszer, amely a szekvenciaalapú modellek, például a Transformer és újabb változatai (RetNet, Mamba, stb.) működésének alapelveit foglalja össze. Az MIRAS négy kulcskérdés mentén elemzi a modellek különbségeit: hogyan néz ki a belső “adatbázis” (vektor, mátrix, hálózat), milyen szabály szerint dönt, hogy mi kerül tárolásra, milyen gyorsan felejt, és milyen tanulási szabályokat alkalmaz az emlékek frissítésekor.^{[^1]}

Tesztelési eredmények: az Titans felülmúlja a nagy riválisokat

Az Titans architektúrát széles körben tesztelték nyelvi modellezési és időbeli előrejelzési feladatokban. Különösen jól szerepelt a “Needle in the Haystack” (NIAH) teszten, ahol hosszú szövegekben kellett specifikus információkat megtalálnia: még 16 000 token hosszúságú szövegek esetén is több mint 95%-os pontosságot ért el.^{[^1]}

Az BABILong benchmarkban – ahol a modelleknek szétszórt információkat kell egyesíteniük hosszú dokumentumokon át – az Titans olyan nagy modelleket is felülmúlt, mint a GPT-4, RecurrentGemma-9B és Llama3.1-70B. Mindezt úgy érte el, hogy a legnagyobb Titans változat “csak” 760 millió paraméterrel rendelkezik, ami jóval kevesebb, mint a legtöbb csúcskategóriás modell paraméterszáma.^{[^1]}

Jövőbeli kilátások: új korszak az MI-modellek fejlesztésében

Az Google fejlesztései rámutatnak, hogy az MI-modellek jövője a folyamatos tanulásban és a hosszú távú memóriában rejlik. Az Titans és MIRAS architektúrák nemcsak a nyelvi modellezésben, hanem más területeken – például DNS- vagy videóadatok feldolgozásában – is új távlatokat nyithatnak meg, ha a laboratóriumi eredmények a gyakorlatban is igazolódnak.^{[^1]}

Forrás:

[^1]: The Decoder szerkesztőség (2025. 12. 05.). “MIRAS und Titans: Google zeigt, wie KI-Modelle dauerhaft dazulernen können”. The Decoder. Közzétéve [2025. 12. 05.].