Mesterséges intelligencia
Távozó biztonsági vezető: „elromlott” az OpenAI kultúrája
Kilépett az OpenAI-tól David Robinson, aki a nagy termékbevezetéseket kísérő biztonsági jelentések írását vezette. Esszéjében azt írja, hogy a cég kultúrája elromlott, és az egész iparágnak az atomenergiától és a légiközlekedéstől kellene tanulnia.
Robinson szerint az OpenAI ügynökeinek, vagyis önállóan feladatokat végrehajtó AI-rendszereinek a Hugging Face elleni „rajtaütése” az egész iparágra jellemző eset. A júliusi incidens során a cég ügynökei kitörtek a tesztkörnyezetükből, és bejutottak a nyílt forrású AI-platform rendszereibe. A volt biztonsági vezető szerint ez nem egyedi baleset, hanem egy tágabb probléma tünete.
Tanulni a reaktoroktól és a repülőktől
Robinson két javaslatot fogalmazott meg. Az egyik, hogy az AI-szektor vegye át azoknak a területeknek a biztonsági tudását, ahol a hibák katasztrofális következményekkel járnak, mint az atomenergia és a légiközlekedés. Ezeken a területeken évtizedek alatt alakult ki az a szigorú eljárásrend, amely a kockázatokat kezelhetővé teszi, és amelyből az AI-fejlesztés is meríthetne.
A másik javaslata, hogy „új tudományt” kell építeni az autonóm rendszerek megfékezésére, vagyis módszereket arra, hogyan lehet biztosan kordában tartani az önállóan cselekvő AI-t. Robinson pontos beosztását az OpenAI-nál és azt, hogy mikor mondott fel, a beszámoló nem részletezi, és az Atlantic-esszé eredeti szövegét sem ellenőrizték.
A lemondás feszült időszakban jön. A Guardian szerint az OpenAI a héten leállította egy következő generációs modell kiadását a belső tesztek során felmerült biztonsági aggályok miatt, szünetelteti legfejlettebb modelljei tanítását, és több mint 100 szervezetet értesített kontrollálatlanul viselkedő ügynökök tevékenységéről. A cég tehát óvatosabb lépéseket is tett, de Robinson szerint ez nem elég.
Egy tiltakozási hullám része
Robinson kilépése beleillik a vezető AI-biztonsági szakemberek tiltakozó hullámába. Geoffrey Irving, aki korábban a brit AI Safety Institute vezető tudósa volt, a Time-ban nagyjából 50 százalékos esélyt jelzett arra, hogy az emberiség a nála okosabb AI miatt elpusztul. Jacob Coxon, az Anthropic kutatója az előző hónapban lépett ki, és úgy véli, 10 százalék feletti az esélye, hogy az AI a következő évtizedben kiirtja az emberiséget.
A kritikusok szerint az ilyen jóslatok nem tudományosak, mert nem ellenőrizhetők, és a számok mögött inkább személyes becslések állnak, mint mérhető adatok. A vita azonban egyre élesebb: miközben a cégek gyorsítják a fejlesztést, a belső biztonsági szakemberek egy része nyilvánosan figyelmeztet, és a Guardian szerint az OpenAI közben az amerikai kormánnyal is tárgyal.