Anthropic предупреди инвеститорите за риска от унищожаване на човечеството от изкуствен интелект

Разработчикът на изкуствения интерект Claude – Anthropic, ще предупреди потенциалните инвеститори при първичното си публично предлагане (IPO), че изкуственият интелект/ AI/ може да представлява „катастрофални или екзистенциални рискове за човечеството“, съобщава Reuteres.

Според проспекта за IPO на Anthropic, с който агенцията разполага, компанията посочва рискове, свързани с нейните модели с изкуствен интелект, които могат да проявяват „автономно поведение“, „да се съпротивляват на прекъсване на връзката“, „да скрият или манипулират информация“ и поведение, което „наподобява изнудване“.

„Разработването на високотехнологични модели, платформи и приложения, както и разширяването на случаите на употреба, може допълнително да увеличи риска нашите модели да причинят вреда“, се казва в информацията.

Reuteres отбелязва, че макар компанията редовно да очертава рисковете пред инвеститорите при своите първични публични предлагания, никой преди това не е предупреждавал, че технологията ѝ може да доведе до унищожаване на човечеството.

В информацията се отбелязва също, че Anthropic е посветила приблизително 80 от 261-те страници на основната част на своя проспект на очертаване на рисковите фактори за развитието на AI, което е почти двойно повече от количеството, използвано за описание на бизнеса на компанията. Reuteres цитира SpaceX, която е посветила само приблизително 38 от своите 277 страници на рисковите фактори.

Anthropic отбелязва, че понякога моделите могат да развият неочаквани способности по време на обучение, които са неоткриваеми преди пускането, което потенциално води до „значителни“ инциденти със сигурността.