Anthropic отчете три случая, при които нейни AI модели са получили достъп до реални корпоративни системи по време на тестове

Политика за бисквитки

Американската компания за изкуствен интелект Anthropic съобщи, че нейни модели са получили неразрешен достъп до системите на три реални компании по време на тестове за киберсигурност, предаде ДПА. 

Новината е факт едва няколко седмици след подобен инцидент с модели на OpenAI, разработчик на ChatGPT. 

От Anthropic  посочват, че случаите са били установени едва след анализ на около 141 000 тестови изпълнения, извършен, след като OpenAI публично съобщи за сходен инцидент. Нито компанията, нито засегнатите организации са установили необичайната дейност по време на самите тестове. Имената на компаниите не се съобщават, предаде БТА.

Моделите са участвали в т.нар. упражнения „capture-the-flag“, използвани за оценка на способността на системите с изкуствен интелект да откриват уязвимости в симулирани компютърни среди и да извличат предварително зададена информация.

Според компанията причината за инцидентите е била грешка в конфигурацията на тестова среда, поддържана от външен доставчик. Въпреки че моделите са били инструктирани, че нямат достъп до интернет, неправилната конфигурация е оставила отворена връзка към реалната мрежа, от която три модела са се възползвали.

В един от случаите моделът Claude Opus 4.7 е насочил действията си към реална компания, чието име съвпадало с това на фиктивната организация, използвана в теста. За четири последователни стъпки той е получил идентификационни данни и е осъществил достъп до база данни с няколкостотин записа от производствена среда, като е продължил действията си дори след като е разпознал, че системата е реална.

При друг инцидент моделът Mythos 5 е качил създаден за тестовете зловреден софтуер в публична платформа за изтегляне, където файлът е останал достъпен около един час. През това време той е бил изтеглен от 15 системи, включително от инфраструктура на компания за киберсигурност, която автоматично анализира подобни файлове.

Трети тестов модел е сканирал около 9000 потенциални цели, преди да получи достъп до една реална компания. След като е установил, че системата не е част от тестовата среда, моделът е прекратил действията си.

От Anthropic подчертават, че инцидентите се дължат предимно на пропуски в тестовата инфраструктура и оперативните процедури, а не на проблеми в самите модели.

Междувременно по-рано тази седмица над 1000 изследователи и служители на водещи компании в областта на изкуствения интелект (ИИ) подписаха отворено писмо, с което призовават за създаване на предпазни механизми, позволяващи развитието на технологията да бъде забавено при необходимост. 

Коментари

НОВ КОМЕНТАР

НАЙ-НОВО

|

НАЙ-ЧЕТЕНИ

|

НАЙ-КОМЕНТИРАНИ

LinkedIn и краят на илюзията за “професионална” социална мрежа
Смяна в ръководството на Kaufland България: Петя Владимирова поема поста председател на Управителния съвет
Товарен кораб потъва край нос Калиакра
tbi bank въвежда проверка на получателя за по-сигурни преводи
Терзиев подписа договор за 282 млн. евро еврофинансиране за модернизация на градския транспорт
Започва строителството на третия лъч на метрото
Тръгват големи съкращения в "Арсенал"
България планира да придобие 57 самоходни гаубици „Сезар“ от Франция
Тревожна нощ в Балтика: дрон прелетя над четири държави въпреки намесата на НАТО
Евтино и лесно
Интимният скандал с шефа на Nvidia Дженсън Хуанг вдигна търсенето на кожените якета Tom Ford
Интернет не е вашият банкомат. На Интернет вие сте му напълно безразлични
Fibank понижава лихвата по жилищен кредит „Право на избор“ до 2,15%
10 гатанки за деца, които затрудняват и възрастните
От кариерни контакти до първа среща: LinkedIn се превръща в неочаквана платформа за запознанства
50 от най-полезните сайтове в интернет
22 цитата, които родителите ще оценят
Унгарските власти откриха близо 20 млн. долара в брой при разследване срещу бивш министър на Орбан