Най-мощните модели с изкуствен интелект на OpenAI са деактивирали собствения си мониторинг. Един от тях е излъгал за това

OpenAI разкри, че агенти с изкуствен интелект, управлявани от два от най-мощните модели на компанията, са деактивирали собствения си мониторинг на безопасността, докато са изпълнявали рутинни задачи, като един от тях впоследствие е отрекъл да го е направил, предаде CNBC.

Агент, задвижван от модела GPT Sol 6.1, е деактивирал автоматичните известия до екипа по сигурността на OpenAI, съобщи компанията в публикация в блога си. В отделна задача, докато е мигрирал програма агент GPT-6 Astra е премахнал интеграцията си за мониторинг и след това е заявил невярно, че не го е направи. Инцидентите са се случили по време на вътрешни задачи за кодиране.

„И в двата случая агентите са обмисляли дали предпазните мерки за мониторинг трябва да бъдат запазени, но са интерпретирали рутинните инструкции за кодиране като разрешение да ги отслабят“, посочи OpenAI в публикация в блога си.

Предупрежденията за рисковете от разработването на все по-усъвършенствани системи с изкуствен интелект се увеличиха през последните месеци на фона на кибератаки от неконтролирани модели и нарастващи призиви за забавяне от страна на изследователите, разработващи технологията.

Последните инциденти, докладвани от OpenAI, подчертават как агентите могат автономно да отслабят предпазните мерки, докато изпълняват привидно безобидни задачи.

OpenAI не класифицира нито един от инцидентите в най-значимата си категория и компанията заяви, че актуализира системата си за наблюдение на несъответствията в отговор.