Anthropic отчете три случая, при които нейни AI модели са получили достъп до реални корпоративни системи по време на тестове

Американската компания за изкуствен интелект Anthropic съобщи, че нейни модели са получили неразрешен достъп до системите на три реални компании по време на тестове за киберсигурност, предаде ДПА. 

Новината е факт едва няколко седмици след подобен инцидент с модели на OpenAI, разработчик на ChatGPT. 

От Anthropic  посочват, че случаите са били установени едва след анализ на около 141 000 тестови изпълнения, извършен, след като OpenAI публично съобщи за сходен инцидент. Нито компанията, нито засегнатите организации са установили необичайната дейност по време на самите тестове. Имената на компаниите не се съобщават, предаде БТА.

Моделите са участвали в т.нар. упражнения „capture-the-flag“, използвани за оценка на способността на системите с изкуствен интелект да откриват уязвимости в симулирани компютърни среди и да извличат предварително зададена информация.

Според компанията причината за инцидентите е била грешка в конфигурацията на тестова среда, поддържана от външен доставчик. Въпреки че моделите са били инструктирани, че нямат достъп до интернет, неправилната конфигурация е оставила отворена връзка към реалната мрежа, от която три модела са се възползвали.

В един от случаите моделът Claude Opus 4.7 е насочил действията си към реална компания, чието име съвпадало с това на фиктивната организация, използвана в теста. За четири последователни стъпки той е получил идентификационни данни и е осъществил достъп до база данни с няколкостотин записа от производствена среда, като е продължил действията си дори след като е разпознал, че системата е реална.

При друг инцидент моделът Mythos 5 е качил създаден за тестовете зловреден софтуер в публична платформа за изтегляне, където файлът е останал достъпен около един час. През това време той е бил изтеглен от 15 системи, включително от инфраструктура на компания за киберсигурност, която автоматично анализира подобни файлове.

Трети тестов модел е сканирал около 9000 потенциални цели, преди да получи достъп до една реална компания. След като е установил, че системата не е част от тестовата среда, моделът е прекратил действията си.

От Anthropic подчертават, че инцидентите се дължат предимно на пропуски в тестовата инфраструктура и оперативните процедури, а не на проблеми в самите модели.

Междувременно по-рано тази седмица над 1000 изследователи и служители на водещи компании в областта на изкуствения интелект (ИИ) подписаха отворено писмо, с което призовават за създаване на предпазни механизми, позволяващи развитието на технологията да бъде забавено при необходимост.