OpenAI търси ръководител по ИИ безопасност за 445 000 долара. Изискването е олицетворение на субективността

OpenAI си е поставила за цел да създаде инструмент с изкуствен интелект, който би могъл да изследва собствените си подобрения. Сега компанията се подготвя за съпътстващите опасности при изпълнението на тази мисия.

Потенциалът на системите с изкуствен интелект да постигнат така нареченото „рекурсивно самоусъвършенстване“ излезе на преден план за лидерите в областта на изкуствения интелект, след като инструментите за кодиране от OpenAI и Anthropic направиха скок напред през последните шест месеца. Главният изпълнителен директор на Google DeepMind Демис Хасабис също заяви тази седмица, че човечеството сега е в „подножието на сингулярността“ - моментът, в който изкуственият интелект започва да се усъвършенства и да изпреварва човешкия интелект.

OpenAI, която се стреми да излезе на борсата тази година, наскоро публикува обява за работа, в която търси изследовател по безопасност, който да се справи с това какво се случва, когато изкуствен интелект може да обучава по-добри версии на себе си - с други думи, когато излезе извън стандартния модел на поведение или дори контрол.

Позицията е част от екипа за "Подготовка по безопасност" на OpenAI и предлага пакет възнаграждение, което започва от 295 000 долара и може да достигне внушителните 450 000 долара. Наред със "силната техническа грамотност", с която да поддържа подготовката на екипа, позицията изисква други доста любопитни лични характеристики.

Идеалният кандидат трябва да бъде "благоприличен", "стратегически мислещ" и "да взима премерени решения". Очевидно вече отминава времето, когато работа в подобно направление изисква само техническа грамотност и умения за програмиране. Сега хората, които ще отговарят за създаването и надзора на ИИ системи, способни да променят света, се наемат на база субективното разбиране за "благоприличие". Чии вкус и деликатност ще определят нашето бъдеще остава отворен въпрос.

Стремежът на OpenAI да наеме висш експерт по безопасността идва на фона на нарастващите опасения на компаниите относно рисковете, свързани с изкуствения интелект, за операциите и репутацията им. Ноемврийски анализ на годишните документи на Комисията по ценни книжа и борсина САЩ, изготвен от компанията за финансови данни и анализи AlphaSense, установи, че през първите 11 месеца на годината 418 компании на стойност най-малко 1 милиард долара са посочили вреди за репутацията си, свързани с рискови фактори, свързани с изкуствения интелект. Тези рискове, застрашаващи репутацията, включват набори от данни с изкуствен интелект, които показват предубедена информация или застрашават сигурността. Според анализа, докладите за вреди за репутацията, свързани с изкуствения интелект, са се увеличили с 46% спрямо 2024 г.

Технологичната компания също призна, че се нуждае от подобрени мерки за безопасност, заявявайки в публикация в блога си този месец, че някои от предстоящите ѝ модели биха могли да представляват „висок“ риск за киберсигурността, тъй като изкуственият интелект бързо се развива. OpenAI предприема мерки – като например обучение на модели да не отговарят на заявки, компрометиращи киберсигурността, и усъвършенстване на системите за мониторинг – за смекчаване на тези рискове.