Откакто човек мечтае да бъде бог, съществува и страхът, че ще създаде нещо по-могъщо от самия него. Нещо, което да изпусне от контрол. Но сякаш идеята е прекалено голяма, за да спрем да вървим право към изпепеляващото слънце като нощни пеперуди, нали? Независимо че човечеството вече е предположило с приблизителна достоверност вероятните изходи.

Два века са изминали, откакто Мери Шели превръща във „Франкенщайн“ идеята за творението, чиито последици създателят не е способен да овладее, а век ни дели от момента, в който Карел Чапек дава на света самата дума „робот“ с пиесата R.U.R., в която изкуствено създадени работници в крайна сметка се разбунтуват срещу хората и практически унищожават човечеството. В началото на 50-те години на XX век Азимов пише „Аз, Роботът“, а Вонегът се появява на сцената с „Механично пиано“ – книга, която изследва загубата на смисъл, когато машините заменят хората. По същото време самият Алън Тюринг допуска, че ако машинното мислене започне да се развива, то би могло сравнително бързо да надрасне човешките способности и в определен момент машините да поемат контрола. Тази идея вълнуваше фантазиите на мнозина, някои от които описват логичния път към апокалиптичен сблъсък. И точно тези теории, залегнали в масовата култура, тези от „Терминатор“, „Матрицата“, „Бойна звезда Галактика“ и антиутопиите на Харлан Елисън днес се проектират върху обществените страхове.

Много от технологичните милиардери са отраснали с тази култура. Самият Мъск използва фантастиката като вид интелектуален речник в битието си – давайки имена на част от продуктите си, които са препратки към Азимов и Дъглас Адамс. Сигурно не е и толкова странно, че и той, върл либертарианец и противник на всякакви регулации, беше сред първите, които повдигнаха въпроса за контрол над развитието на AI при появата на първите версии на LLM моделите. Макар и тогава да имаше съмнения, че просто иска да пречи на конкурентите си, за да ги настигне.

Предупрежденията

През 2023 г. отворено писмо на Future of Life Institute, подписано от Мъск, Йошуа Бенджио, Стив Возняк и множество изследователи и технологични лидери, призова за най-малко шестмесечна пауза в обучението на системи, по-мощни от GPT-4, предупреждавайки за надпревара, при която дори създателите на моделите не могат надеждно да ги разбират, предвиждат и контролират. Само два месеца по-късно над 700 водещи учени и обществени фигури, сред които и „кръстникът на AI“ Джефри Хинтън, подкрепиха още по-категоричното изявление на Center for AI Safety, според което ограничаването на риска от изчезване на човечеството вследствие на AI трябва да бъде глобален приоритет, съпоставим с рисковете от пандемии и ядрена война. Сред подписалите бяха също Сам Олтман, Дарио Амодей и Бил Гейтс.

Тези писма си останаха само призив на хартия.

Превъртаме няколко години напред: GPT вече е 6-о поколение, без да е приключило света, AI се превръща в най-голямото бизнес начинание в историята, Мъск е първият човек с богатство, оценено на над 1 трилион долара, глобално има притеснения за енергийната и водната консумация на колосалните изчислителни центрове, които са нужни за експлозивния растеж, а от време на време умопомрачително високо платени учени напускат няколкото водещи компании в сектора с ярки предупреждения за липса на стратегия за сигурност. Последните такива обаче бяха прекалено конкретни: на фона на няколко инцидента с „изпуснати“ frontier модели, наскоро напуснал Antropic експерт осветли убеждението в компанията за 10% шанс за ликвидиране на цялото човечество от суперинтелект до края на десетилетието, а бившите му шефове изненадващо го подкрепиха, като един от тях дори публикува есе за „Извънземния ум“, който вече е сред нас. Амодей лично призова развитието на най-мощните модели съзнателно да бъде забавено, за да може механизмите за безопасност да наваксат, като добави още едно конкретно измерение: че в рамките на от 6 до 12 месеца AI може да достигне способности за координиране на множество автономни агенти с труднопредвидими последствия. Илон Мъск и Сам Олтман публично подкрепиха необходимостта от по-бавно и координирано развитие в рамките на часове.

Този път медиите и обществото повярваха и това беше водещата новина в света поне за няколко дни и като че ли ще остане такава за по-дълго.

Дилемата на затворника

Въпреки годините на предупреждения регулация на AI почти не съществува в момента, ако изключим мястото, където животът е най-ясно регулиран – Европейския съюз. Но и нашият AI Act е по-скоро някакъв опит за контрол върху приложението, а не върху разработката на по-силни системи.

Защо обаче призивът за забавяне идва точно сега? Според някои анализатори причината е не само страхът от по-привличащия публично внимание апокалиптичен сценарий, при който свръхинтелигентен AI би могъл да застраши човечеството. Вместо това те се фокусират върху много по-непосредственото усещане, че развитието на технологията вече започва да изпреварва способността на компаниите да я контролират. През последните месеци експериментални AI системи демонстрираха способност автономно да откриват уязвимости, да проникват в чужди системи и да координират действията си, и то без разработчиците да разберат, че това се случва. Компаниите са притиснати да забързват разработките си заради конкуренцията, но ако не могат да покажат контрол, това е сериозен репутационен риск. И то в момент, в който икономическият им модел не е съвсем изяснен – големите отчитат колосални загуби заради постоянните инвестиции в яростната надпревара и мнението на инвеститорите е ключово. „Бихте ли инвестирали в компания, която ви обещава, че ще унищожи човечеството?“, пита консултантът на ООН по въпросите на AI проф. Уенди Хол. Балансът и стабилността на компаниите може да изисква забавяне.

Така индустрията и държавно спонсорираните играчи се оказват въвлечени в ситуация, която силно напомня класическата „Дилема на затворника“ от теорията на игрите и икономиката. За всички големи разработчици би могло да бъде рационално колективно да забавят темпото, за да оставят повече време за проверки, защитни механизми и изследвания по безопасността. За всяка отделна компания обаче е по-приемливо да продължи разработките си възможно най-бързо, ако съществува риск конкурентите ѝ да не направят същото. Онзи, който пръв натисне спирачката, може да изгуби технологично предимство, инвеститори, пазарен дял и достъп до най-добрите специалисти, докато останалите продължават напред. Към конкуренцията между OpenAI, Anthropic, Google и останалите американски компании се добавя и геополитическото измерение – опасението, че едностранното ограничаване на западните разработчици би дало предимство на Китай. Така се получава парадокс: отделните участници могат да разбират, че безконтролната надпревара увеличава риска за всички, но стимулите на всеки от тях поотделно го тласкат към още по-бързо развитие. Именно затова сегашните призиви за забавяне все по-често са придружени от настояване за общи стандарти и координирани правила – механизъм, който би гарантирал, че никой няма да бъде наказан конкурентно за това, че е решил да бъде по-предпазлив. Това може и да е превантивно действие заради засилващия се натиск за външни ограничения – процес, от който те могат да бъдат изключени. Популярният сенатор от Демократическата партия Бърни Сандърс например се готви да внесе законопроект в САЩ, който да забрани разработването на суперинтелект, като наказанията се предвижда да са закриване на компанията и 20 години затвор за физическите извършители – със сигурност не регулацията, която си представят в Силициевата долина.

В този смисъл проблемът пред AI индустрията вече не е само технологичен: той е и класически проблем на колективното действие, при който най-добрият резултат за всички е труден за постигане, ако всеки действа единствено според собствения си краткосрочен интерес.

Отказът обаче е невъзможен – защото в крайна сметка говорим за Светия Граал на човешката еволюция. Теоретично погледнато, ситуацията е несравнима с никоя друга иновация или технологична революция в историята, защото пробив по отношение на свръхинтелигентен AI би дал на притежателя му инструмент, с който може да неутрализира всяка система по света и да замени всеки работещ по света. На практика ще го направи господар на света. Точно това има предвид президентът Доналд Тръмп, когато отхвърля идеята САЩ да забавят, защото ако бъдат изпреварени, ще се окажат „на много мрачно място“ и „който спечели, ще спечели“.

Как би изглеждала тази регулация?

Вместо забрана за създаване на по-мощни модели по-реалистично изглежда въвеждането на задължителни оценки на риска, проверки преди пускане, защита на инфраструктурата и специални правила при достигане на определени прагове на способностите на алгоритъма. Амодей говореше например за задължителен механизъм за принудително спиране (kill switch) на frontier AI разработките, независим мониторинг на ниво индустрия и в международен план. Вероятно ще се появят и други идеи.

Ключовият въпрос обаче е в доверието. Дали могат да бъдат създадени достатъчно надеждни международни правила, при които отговорното поведение да бъде по-изгодно от едностранното нарушаване на ограниченията? Дали ще бъдат спазвани? Кой ще ги контролира? Технологичните гиганти и техните месиански президенти не са точно секторът, който е спечелил общественото доверие в сферата на прозрачността, точно обратното. Международното доверие пък е в най-ниската си точка от поне 60–70 години насам, да не говорим, че глобални договори с пълно участие по важни въпроси (като например климатичните промени или данъчното облагане) не се постигаха и в по-добри времена. Китай, през държавните си медии, вече дадоха да се разбере, че смятат всичко това за капан на западната индустрия. Въпреки това президентът Си заяви на скорошна среща на BRICS, че ще предложи създаването на open source AI зона в рамките на обединението на големите развиващи се икономики, което да конкурира затворения подход на американската ИТ индустрия.

Спор има и по отношение на целта и обхвата на регулацията. Едната хипотеза, характерна за част от frontier AI индустрията, настоява държавите да се подготвят за потенциално катастрофални бъдещи способности на моделите. Другата, представена от бившата ръководителка за етично прилагане на изкуствения интелект на Google Тимнит Гербу, предупреждава, че фокусът върху хипотетичния апокалипсис отклонява вниманието от далеч по-прозаичния въпрос кой носи отговорност за реалните вреди, които системите причиняват още днес – като например използването на изкуствен интелект за военни цели. На такова мнение са и всички скептици, които смятат, че компании като Open AI и Anthropic целенасочено спекулират с потенциална сингулярност. Това според теорията обслужва едновременно маркетинговото преувеличение за величието на продукта им, а призивът за регулация е, за да им осигури защита от конкуренцията, тъй като всъщност нямат идея какви ще са следващите стъпки в развитието на технологията и наближава плато, което ще е фатално за много от икономическа гледна точка. Един от поддръжниците на такава теза е Майкъл Бъри – инвеститорът, станал популярен заради точната си прогноза за ипотечната криза в САЩ (представена във филма The Big Short).

Повечето анализатори обаче са съгласни, че ситуацията почва да изглежда доста хаотична и извън контрол. В крайна сметка агентите, които не изпълняват задачите си или мамят този, който ги насочва, този, на когото служат, не са добри агенти. И не е изключено страхът от нечуван икономически провал също да е значим. От друга страна, историята показва, че когато дилемата се превърне в такава на сигурността, решенията не са толкова прости – пример е пикът на ядрената надпревара.