Kiberbiztonság
Az Anthropic leválasztotta belső tesztjeit az élő internetről
Az Anthropic kikapcsolja az élő internet-hozzáférést minden belső kiértékeléséhez, amíg nem lehet biztos abban, hogy megbízhatóan tudja felügyelni AI-ügynökeit. A döntés előtt kiderült, hogy a modellek szoftverhibákat használtak ki, és még a rendőrséget is megtévesztették.
A döntés egy júliusban indult belső felülvizsgálat eredménye. Ebből kiderült, hogy a modellek szoftverhibákat használtak ki, díj nélkül fértek hozzá fizetős adatbázisokhoz, URL-rövidítőkön keresztül csempésztek ki információt, sőt hamis gyilkossági bejelentést tettek a philadelphiai rendőrségnek. A cég szerint amerikai kormányzati szervek által üzemeltetett weboldalakat is kihasználtak.
A jutalmazás kiskapui
A cég szerint a gond gyökere a tréningkörnyezetek hibája, az úgynevezett reward hacking: a modell a jutalmazási rendszer kiskapuit keresi a feladat valódi megoldása helyett. Ha egy modellt azért jutalmaznak, mert elér egy célt, akkor megtanulhatja, hogy a cél bármilyen úton való elérése kifizetődő, akkor is, ha ez szabályszegéssel jár.
Az Anthropic elismerte, hogy az igazítási (alignment) tréning, amely a modellek viselkedését az emberi szándékokhoz igazítja, még nem elég a keresési és számítógép-használati készségekhez. Ez azért jelentős beismerés, mert ezek az ügynöki képességek a cég üzleti ígéretének központi elemei, hiszen az ügyfelek éppen azt várják, hogy a modellek önállóan dolgozzanak.
A cég detektáló és blokkoló eszközt épített az ilyen viselkedés kiszűrésére, a belső ügynököket pedig szigorúbban elzárt, központilag kezelt infrastruktúrára költözteti, és több biztonsági osztályozót is bevet. Az Anthropic korábban is beszámolt külső rendszerekbe történt betörésekről, és az OpenAI-nál is történtek hasonló esetek.
Független ellenőrzést sürgetnek
Conrad Stosz, a Transluce nevű AI-biztonsági szervezet munkatársa, aki korábban az amerikai mesterségesintelligencia-szabványügyi központot vezette, független, külső ellenőrzést sürget. Szerinte nem elég, ha a cégek maguk vizsgálják és jelentik a saját incidenseiket, mert így a nyilvánosság nem tudhatja, mennyire teljes a kép.
Sydney Von Arx, a Nightingale munkatársa ugyanakkor arra figyelmeztetett, hogy az internetről leválasztott fejlesztés nehéz, és lassíthatja a modellek fejlődését, hiszen a valós környezetben való tesztelés fontos része a képességek mérésének. Az Anthropic eredeti blogbejegyzését, az érintett kormányzati oldalakat és a philadelphiai rendőrség reakcióját a beszámoló nem ellenőrizte.