Kiberbiztonság
OpenAI: a Moonshot AI-hoz köthető szereplők a modellek gondolatmenetére vadásztak
Összehangolt kampány célozta az OpenAI modelljeinek titkosított gondolatmenetét, és a cég szerint a szálak a kínai Moonshot AI-hoz vezetnek. A titkosítást nem törték fel, de egy kiskapun át a rejtett tartalom visszafejthetővé vált. A rést azóta befoltozták.
A támadók nem a titkosítást törték fel, hanem egy kiskaput használtak ki. A titkosított gondolatmenet-blokkot lemásolták, majd egy másik beszélgetésben próbálták rávenni a modellt, hogy fejtse vissza a tartalmát. A javítás egy olyan útvonalat zárt le, amelyen keresztül más felhasználó titkosított gondolatmenetét is vissza lehetett játszani és ki lehetett olvasni. A cég szerint tárolt felhasználói beszélgetésekhez nem fértek hozzá, és adatbázis sem sérült.
Három hét, tizenhatezer gyanús kérés
A tevékenység július 1-jén indult, eleinte kis volumenben. A csúcs július 24–25-én jött: ekkor 16 000, a kinyerésre jellemző mintázatú kérés érkezett több mint 4000 felhasználótól. Július 28-ra a kampány teljesen leállt. Azt nem közölték, mennyire volt sikeres a kinyerés, és azt sem, pontosan mely modelleket célozták. Az sem derült ki, a felhasználók közül hány köthető ténylegesen a Moonshothoz.
A módszer nem ismeretlen. Egy augusztus 10-i tanulmány, a „Stealing Reasoning Traces from Proprietary LLM APIs” hasonló támadást tesztelt az OpenAI, az Anthropic és a Google rendszerein; a kutatók a bejelentésük után már nem tudták megismételni. Az Anthropic szeptemberi jelentése szerint pedig a Moonshot tíz nap alatt közel 300 000 kérést küldött 5380 csalárd fiókkal, és úgynevezett „cross-session replay” támadásokkal próbálkozott a Claude gondolatmenetének aláírásain.
Miért érnek ennyit a rejtett gondolatmenetek?
Az élvonalbeli AI-cégek azért rejtik el vagy titkosítják a modellek gondolatmenetét, hogy a versenytársak ne tudják desztillálni őket, vagyis ne tanítsanak saját modellt a kimeneteikből. Az eset azt mutatja, hogy a kliens által visszaküldött titkosított blokkok maguk is támadási felületet jelenthetnek. A Moonshot júliusban tagadta, hogy Kimi K3 modellje desztillációval készült; Greg Brockman akkor úgy fogalmazott, korai lenne megítélni, történt-e ilyen. Az OpenAI az eredményeket megosztotta a Frontier Model Forummal és kormányzati csatornákkal is.
Nyitott kérdés maradt, reagált-e a Moonshot erre a konkrét vádra. Az ügy azonban így is túlmutat egyetlen cégen: az amerikai és a kínai AI-fejlesztők közti versenyben a modellek belső működése üzleti és geopolitikai érték is. Ha a rejtett gondolatmenetek kinyerhetők, a drága kutatás eredményét a versenytársak olcsón lemásolhatják, ezért várhatóan a többi nagy szolgáltató is szigorítja majd a védelmet.