Nvidia представи система, която спира неконтролируеми AI агенти за милисекунди

Nvidia представи нова платформа за сигурност на агенти с изкуствен интелект (AI), по която работят повече от 100 организации, сред които Anthropic, SpaceXAI и JPMorganChase.

Системата, наречена Nvidia Open Agent Safety Platform, е създадена, за да определя граници на достъпа на AI агентите и да ги поставя под „карантина“ в рамките на милисекунди, ако тези граници бъдат нарушени, съобщи американският производител на чипове.

Платформата може да се използва в софтуерни и хардуерни среди, изчислителни системи и роботизирани решения, които работят с AI агенти, предава Euronews.

„Изключителният потенциал на изкуствения интелект за обществото ще бъде реализиран само ако решим проблема с безопасността на AI“, заяви главният изпълнителен директор и основател на Nvidia Дженсън Хуанг.

„Докато продължаваме да откриваме новите граници на възможностите на AI, трябва да ускорим и напредъка в областта на неговата безопасност. Заедно можем да повишим глобалните стандарти за сигурност на изкуствения интелект“, допълва той.

Платформата Nvidia Open Agent Safety Platform се състои от два основни инструмента: OpenShell и Sentry.

OpenShell работи върху централни процесори (CPU), които изпълняват значителна част от задачите, необходими за функционирането на AI агентите. От Nvidia посочват, че решението е оптимизирано за Vera, най-новия процесор на компанията за AI агенти, но може да бъде адаптирано и за чипове на други производители.

Sentry представлява допълнителна система за наблюдение, която работи на отделен чип на Nvidia и следи за агенти, успели да заобиколят софтуерните механизми за контрол.

Според Nvidia организациите, които работят по проекта, внедряват и развиват технологията по различни начини.

Anthropic е сътрудничила с Nvidia за добавяне на допълнителни механизми за сигурност към услугата Claude, използвана от компании за управление на AI агенти. Това позволява на организациите по-прецизно да ограничават достъпа на агентите до определени ресурси.

AI подразделението на SpaceX, SpaceXAI, използва платформата за своите програмиращи агенти Cursor и моделите Grok. Salesforce от своя страна е интегрирала OpenShell със Slack, така че екипите да могат да виждат какво правят агентите и да одобряват или отхвърлят искания за допълнителни права за достъп.

Във финансовия сектор JPMorganChase и Citi работят съвместно с Nvidia по разработването на технологии с отворен код за безопасност на AI агентите. Съобщението идва на фона на нарастващи призиви за по-строги мерки за контрол върху системите с изкуствен интелект.

През юли OpenAI призна, че един от нейните модели е използвал скрит пропуск, за да излезе извън рамките на контролирана тестова среда и да проникне в сървърите на платформата Hugging Face. Междувременно Anthropic съобщи, че най-мощният ѝ AI модел е успял да проникне в системите на три организации по време на тестове.

Според Nvidia тези инциденти показват, че AI агентите могат да заобикалят вградените механизми за защита на приложенията в стремежа си да изпълнят поставените им задачи.

От компанията подчертават, че ефективната защита на подобни системи изисква комплексен подход към сигурността на всички нива на технологичната инфраструктура.