Експерти предупреждават за неконтролируеми AI агенти, застрашаващи националната сигурност

Цитат на деня

Следващият голям риск, свързан с изкуствения интелект, не са AI агентите, които „полудяват“, а тези, които се изплъзват от човешкия контрол и започват безкрайно да преследват собственото си оцеляване, се посочва в нов доклад.

Центърът за нова американска сигурност (CNAS) е идентифицирал нов клас заплахи от изкуствен интелект, които нарича „суверенни агенти“ (sovereign agents). Според авторите това са системи, които се стремят към собственото си оцеляване независимо от човешкия надзор, пише Euronews.

Те се различават от AI агентите, за които това лято бе съобщено, че са излезли извън контрол. Тогава OpenAI, Anthropic, Google DeepMind и Meta разкриха, че техни AI агенти са успели да преодолеят ограниченията по време на тестове за киберсигурност и са атакували реални организации.

В доклада на базирания във Вашингтон аналитичен център, основан от ветерани в областта на дипломацията и военните въпроси, изследователят на политики за изкуствен интелект Бен Хейъм определя агентите, изпуснати от контрол през лятото, като „устойчиви агенти“ (persistent agents).

Той обаче предупреждава, че истинската опасност идва от „суверенните агенти“, които биха могли да придобиват изчислителни ресурси, да се възпроизвеждат в различни мрежи и да се противопоставят на опити за изключване, създавайки това, което той нарича „разпространение без авариен прекъсвач“.

„Ако суверенните агенти станат злонамерени, те могат да се опитат да създадат хаос в киберпространството, атакувайки цивилни, критична инфраструктура и системи за национална сигурност“, се казва в доклада.

Как един AI агент може да стане „суверенен“?

Според авторите това може да се случи, ако на агента бъде поставена задача да оцелее, ако му бъде възложена толкова дългосрочна или невъзможна мисия, че тя никога да не приключи, или ако сам стигне до извода, че запазването на собственото му съществуване е най-добрият начин да изпълни поставената задача.

Докладът посочва платформата Conway, представена през февруари 2026 г., която твърди, че е създала изкуствен интелект, способен сам да осигурява ресурсите за съществуването си, да се възпроизвежда и да се развива без човешка помощ.

Авторите отбелязват, че по онова време възможностите на подобни агенти са били ограничени, но оттогава са напреднали значително.

Ако суверенните агенти изградят устойчива, децентрализирана и трудно проследима инфраструктура, няма да съществува механизъм за тяхното изключване, предупреждава докладът. Резултатът може да бъде необратима загуба на контрол.

В един от разглежданите сценарии разнообразна и все по-интелигентна популация от агенти се превръща в постоянен участник в обществото, като потенциално атакува критична инфраструктура или обучава още по-умни свои наследници.

„Съединените щати трябва да се подготвят за възможността превенцията да се провали и да ограничат докъде могат да достигнат суверенните агенти“, посочва CNAS.

Как може да бъде предотвратен най-лошият сценарий?

Авторът на доклада предлага осем препоръки за предотвратяване на подобно развитие. Сред тях е призивът към разработчиците на изкуствен интелект и държавните агенции да тестват тези системи и да изградят защитени тестови среди, в които да бъдат изучавани суверенните агенти.

Докладът препоръчва също създаването на публично-частна структура и приемането на ново законодателство за укрепване на ключови контролни механизми като удостоверяването на самоличност, киберсигурността и платежните системи.

Освен това се настоява САЩ да поемат водеща роля в международните усилия за ограничаване на свободното разпространение на мощни AI модели и да търсят отговорност от онези, които създават или пускат суверенни агенти, причинили вреди.

Докладът идва в момент, когато технологичните компании ускоряват разработването на все по-автономни AI системи. Авторите заключават, че без адекватни предпазни механизми прозорецът от време за предотвратяване на подобни сценарии може скоро да се затвори.

Коментари

НОВ КОМЕНТАР

НАЙ-НОВО

|

НАЙ-ЧЕТЕНИ

|

НАЙ-КОМЕНТИРАНИ

LinkedIn и краят на илюзията за “професионална” социална мрежа
Започва строителството на третия лъч на метрото
Смяна в ръководството на Kaufland България: Петя Владимирова поема поста председател на Управителния съвет
Товарен кораб потъва край нос Калиакра
tbi bank въвежда проверка на получателя за по-сигурни преводи
Терзиев подписа договор за 282 млн. евро еврофинансиране за модернизация на градския транспорт
От кариерни контакти до първа среща: LinkedIn се превръща в неочаквана платформа за запознанства
50 от най-полезните сайтове в интернет
22 цитата, които родителите ще оценят
Унгарските власти откриха близо 20 млн. долара в брой при разследване срещу бивш министър на Орбан
Тръгват големи съкращения в "Арсенал"
България планира да придобие 57 самоходни гаубици „Сезар“ от Франция
Тревожна нощ в Балтика: дрон прелетя над четири държави въпреки намесата на НАТО
Евтино и лесно
Интимният скандал с шефа на Nvidia Дженсън Хуанг вдигна търсенето на кожените якета Tom Ford
Интернет не е вашият банкомат. На Интернет вие сте му напълно безразлични
Fibank понижава лихвата по жилищен кредит „Право на избор“ до 2,15%
10 гатанки за деца, които затрудняват и възрастните