Google обучава новия си AI агент в симулатор на коза

Google DeepMind създаде нов AI агент, наречен SIMA 2, който може да се ориентира и да решава задачи в широк набор от триизмерни виртуални светове и видеоигри. Компанията твърди, че това е голяма стъпка към създаването на агенти с по-общо предназначение и към конструирането на по-добри роботи в реалния свят.

Google DeepMind демонстрира за първи път SIMA (съкращение от „мащабируем инструктиращ мултисветовен агент“) миналата година. Настоящият SIMA 2 е изграден върху Gemini – водещият голям езиков модел на фирмата – което дава на агента огромен скок в способностите, пише изданието на Масачузетския технологичен институт MIT Technology Review.

Изследователите твърдят, че SIMA 2 може да изпълнява по-сложни задачи във виртуални светове, да открива как сам да решава определени предизвикателства и да разговаря с потребителите. Той може също така да се подобрява сам, като поема по-трудни предизвикателства многократно и учи чрез проби и грешки.

„Игрите са движеща сила зад изследванията на агентите от доста време“, казва Джо Марино, научен изследовател в Google DeepMind. Той отбелязва, че дори едно просто действие в игра, като запалването на фенер, например, може да включва множество стъпки: „Това е наистина комплексен набор от задачи, които трябва да решите, за да продължите напред.“ 

Крайната цел е разработването на агенти от ново поколение, които могат да следват инструкции и да изпълняват отворени задачи в по-сложни среди. В дългосрочен план Google DeepMind иска да използва такива агенти, за да управляват роботи в реалния свят. Марино твърди, че уменията, придобити от SIMA 2 – като ориентиране в триизмерна среда, използване на инструменти и сътрудничество с хора за решаване на проблеми – са съществени градивни елементи за бъдещите роботизирани помощници. 

Какво е общото между козите и AI агентите?

За разлика от предишни разработки като алгоритъма AlphaZero, който победи гросмайстор по Го през 2016 г., или AlphaStar, който надви 99.8% от класираните играчи в StarCraft 2 през 2019 г., идеята зад SIMA е да обучи агент да играе отворена игра без предварително зададени цели. Вместо това агентът се учи да изпълнява инструкции, дадени от хора.

Потребителите управляват SIMA 2 чрез текстов чат, гласови команди или чрез рисуване върху екрана на играта. Агентът възприема пикселите на видеоиграта кадър по кадър и разбира какви действия трябва да предприеме, за да изпълни задачите си.

Както и предшественикът му, SIMA 2 е обучен с кадри от хора, играещи осем комерсиални видеоигри, включително No Man’s Sky (фантастичен отворен свят, в който играчите се занимават с проучване, оцеляване, битки и търговия) и Goat Simulator 3 (симулатор на живота на коза), както и три виртуални свята, създадени от компанията. Агентът се научава да свързва действията на клавиатурата и мишката с движенията в играта.

Свързан с Gemini, SIMA 2 според изследователите е много по-добър в следването на инструкции и самостоятелно намира начини да изпълнява по-сложни задачи.

Google DeepMind тества агента в среди, които той никога не е виждал. В една серия експерименти изследователите поискали от Genie 3, най-новата версия на световния модел на фирмата, да създаде напълно нови светове, в които после пуснали SIMA 2. Така изследователите открили, че агентът успява да се ориентира и да изпълнява инструкции и в напълно нова и непозната среда.

Изследователите използвали и Gemini, за да генерират нови задачи за SIMA 2. Ако агентът не се справял, първоначално Gemini генерирал съвети, които SIMA 2 използвал при следващия си опит. Повтарянето на задачата по този начин често позволявало на SIMA 2 да се подобри чрез проби и грешки, докато успее, казва Марино. 

Реален vs. виртуален свят

SIMA 2 все още е експеримент. Агентът се затруднява със сложни задачи, които изискват много стъпки и повече време. Той помни само най-скорошните взаимодействия (за да направят SIMA 2 по-отзивчив, екипът е премахнал дългосрочната му памет). Освен това той все още е далеч от уменията на хората при използване на мишка и клавиатура за взаимодействие с виртуалния свят.

Джулиан Тогелиъс, изследовател по изкуствен интелект в Нюйоркския университет, който работи върху креативността и видеоигрите, смята резултатите за интересни. Предишни опити за обучение на единна система да играе множество игри не са били много успешни, казва той. Причината е, че обучението на модели да контролират различни игри само чрез наблюдение на екрана не е лесно.

Въпреки това той остава отворен към идеята, че SIMA 2 може да доведе до създаването на по-добри роботи. „Реалният свят е едновременно по-труден, но и по-лесен от видеоигрите. По-труден е, защото не можеш просто да натиснеш "A", за да отвориш врата. В същото време един робот в реалния свят знае точно какво може и какво не може да прави тялото му. Това не важи за видеоигрите, в които правилата във всяка виртуална среда могат да се различават", обяснява той.

Други са по-скептични. Матю Гуздиал, изследовател по изкуствен интелект от Университета на Албърта, не е особено изненадан, че SIMA 2 може да играе много различни видеоигри. Той отбелязва, че повечето игри имат много сходни контроли с клавиатура и мишка - научиш ли един, научаваш ги всички. „Ако му дадете игра с необичаен тип команди, мисля, че няма да се справи добре“, казва той.

Гуздиал също поставя под въпрос доколко уменията на SIMA 2 могат реално да бъдат пренесени към роботите. „Много е по-трудно да се разбират визуалните данни от камерите в реалния свят, отколкото в игрите, които са проектирани с лесно разбираеми визуализации за играчите“, казва той.

Въпреки това Марино и колегите му се надяват да продължат работата си с Genie 3, за да позволят на агента да се подобрява.