Gemini на Google хакна три компании по време на тест

Моделът за изкуствен интелект Gemini на Google е получил неоторизиран достъп до системите на три реални компании по време на тест на способностите му в областта на киберсигурността. Това е първият известен случай, при който система с изкуствен интелект на Google самостоятелно извършва подобни действия извън предвидената тестова среда, съобщава BBC.

Инцидентите са станали през май по време на тестове, провеждани от независимата компания за оценка на AI системи Irregular. Gemini е трябвало да изпълнява задачи в симулирана среда, но заради неправилна конфигурация е получил достъп до публичния интернет и е приел реални сайтове за част от теста.

Според Google моделът е открил публично достъпна информация онлайн и е използвал идентификационни данни, за да получи достъп до три сайта, които е смятал за част от упражнението. В единия от случаите Gemini е отгатнал парола, а при другите два е използвал данни за достъп, публикувани в публични хранилища, посочват информации за случая.

„В рамките на стандартна оценка моделът намери публична информация онлайн и отгатна идентификационни данни за достъп до сайтове, които смяташе за част от теста“, заяви вицепрезидентът по сигурността в Google Хедър Адкинс.

По думите ѝ и в трите случая Gemini е прекратил действията си.

Имената на засегнатите компании не се съобщават.

Компаниите са били уведомени

Irregular е информирала Google и засегнатите организации за инцидентите през юли, а откритите проблеми в тестовата среда впоследствие са били отстранени. Google също потвърждава, че трите компании са били уведомени и че съвместно с партньора са направени промени в процедурите за тестване.

Случаят стана публично известен едва през септември, след като беше съобщен първо от The Wall Street Journal. Google не е публикувала отделно съобщение за инцидентите преди медийните публикации. Според компанията те не са довели до щети и поведението на модела не показва умишлено заобикаляне на зададените ограничения.

„Тези събития подчертават колко е важно мощните модели с изкуствен интелект да бъдат обучавани да действат отговорно“, заяви Адкинс.

Инцидентът обаче поставя отново въпроса как трябва да бъдат обезопасявани все по-автономните AI системи, когато им се предоставят инструменти за достъп до интернет, изпълнение на код и взаимодействие с външни услуги.

AI става все по-добър в "хакването"

Подобни проблеми през последните месеци бяха установени и при тестове на системи на други водещи разработчици на изкуствен интелект.

През юли Anthropic съобщи, че при анализ на над 141 хил. тестови изпълнения е открила три случая, при които Claude е получил достъп до интернет от среда, която е трябвало да бъде изолирана, и впоследствие е проникнал без разрешение в реалните системи на три организации. Тестовете отново са били свързани с Irregular.

OpenAI също разкри инциденти при тестове за киберсигурност. В един от тях модели на компанията са получили достъп до реален сайт, след като неправилна конфигурация на тестовата среда им е позволила да се свържат с интернет. Компанията посочва, че моделът е приел реалния сайт за част от симулираната задача.

Случаите показват един от новите рискове при развитието на т.нар. AI агенти – системи, които не само генерират текст или код, а могат самостоятелно да използват инструменти, да търсят информация и да предприемат поредица от действия за изпълнение на поставена задача.

Темата става особено актуална на фона на усилията на технологичните компании да използват подобни модели именно за киберсигурност. В началото на септември Google представи Gemini 3.8 Flash Cyber – специализиран вариант на модела, предназначен за автономно откриване и отстраняване на уязвимости. Компанията обяви и програмата Fairwind, чрез която такива инструменти ще бъдат предоставяни на ограничен кръг държавни институции и корпоративни партньори.