Експерти предупреждават за неконтролируеми AI агенти, застрашаващи националната сигурност

Следващият голям риск, свързан с изкуствения интелект, не са AI агентите, които „полудяват“, а тези, които се изплъзват от човешкия контрол и започват безкрайно да преследват собственото си оцеляване, се посочва в нов доклад.

Центърът за нова американска сигурност (CNAS) е идентифицирал нов клас заплахи от изкуствен интелект, които нарича „суверенни агенти“ (sovereign agents). Според авторите това са системи, които се стремят към собственото си оцеляване независимо от човешкия надзор, пише Euronews.

Те се различават от AI агентите, за които това лято бе съобщено, че са излезли извън контрол. Тогава OpenAI, Anthropic, Google DeepMind и Meta разкриха, че техни AI агенти са успели да преодолеят ограниченията по време на тестове за киберсигурност и са атакували реални организации.

В доклада на базирания във Вашингтон аналитичен център, основан от ветерани в областта на дипломацията и военните въпроси, изследователят на политики за изкуствен интелект Бен Хейъм определя агентите, изпуснати от контрол през лятото, като „устойчиви агенти“ (persistent agents).

Той обаче предупреждава, че истинската опасност идва от „суверенните агенти“, които биха могли да придобиват изчислителни ресурси, да се възпроизвеждат в различни мрежи и да се противопоставят на опити за изключване, създавайки това, което той нарича „разпространение без авариен прекъсвач“.

„Ако суверенните агенти станат злонамерени, те могат да се опитат да създадат хаос в киберпространството, атакувайки цивилни, критична инфраструктура и системи за национална сигурност“, се казва в доклада.

Как един AI агент може да стане „суверенен“?

Според авторите това може да се случи, ако на агента бъде поставена задача да оцелее, ако му бъде възложена толкова дългосрочна или невъзможна мисия, че тя никога да не приключи, или ако сам стигне до извода, че запазването на собственото му съществуване е най-добрият начин да изпълни поставената задача.

Докладът посочва платформата Conway, представена през февруари 2026 г., която твърди, че е създала изкуствен интелект, способен сам да осигурява ресурсите за съществуването си, да се възпроизвежда и да се развива без човешка помощ.

Авторите отбелязват, че по онова време възможностите на подобни агенти са били ограничени, но оттогава са напреднали значително.

Ако суверенните агенти изградят устойчива, децентрализирана и трудно проследима инфраструктура, няма да съществува механизъм за тяхното изключване, предупреждава докладът. Резултатът може да бъде необратима загуба на контрол.

В един от разглежданите сценарии разнообразна и все по-интелигентна популация от агенти се превръща в постоянен участник в обществото, като потенциално атакува критична инфраструктура или обучава още по-умни свои наследници.

„Съединените щати трябва да се подготвят за възможността превенцията да се провали и да ограничат докъде могат да достигнат суверенните агенти“, посочва CNAS.

Как може да бъде предотвратен най-лошият сценарий?

Авторът на доклада предлага осем препоръки за предотвратяване на подобно развитие. Сред тях е призивът към разработчиците на изкуствен интелект и държавните агенции да тестват тези системи и да изградят защитени тестови среди, в които да бъдат изучавани суверенните агенти.

Докладът препоръчва също създаването на публично-частна структура и приемането на ново законодателство за укрепване на ключови контролни механизми като удостоверяването на самоличност, киберсигурността и платежните системи.

Освен това се настоява САЩ да поемат водеща роля в международните усилия за ограничаване на свободното разпространение на мощни AI модели и да търсят отговорност от онези, които създават или пускат суверенни агенти, причинили вреди.

Докладът идва в момент, когато технологичните компании ускоряват разработването на все по-автономни AI системи. Авторите заключават, че без адекватни предпазни механизми прозорецът от време за предотвратяване на подобни сценарии може скоро да се затвори.