Бащата на всички чипове с 400 000 ядра – суперкомпютър от ново поколение

С напредване на времето и технологиите, човечеството успя да изпревари малко или много еволюцията и да създаде прототип на мозъците ни в лицето на изкуствения интелект и дълбокото обучение.

Дълбокото обучение е метод за възпроизвеждане на гъстата мрежа от неврони, които комуникират помежду си. Чрез работа с няколко потока данни едновременно, компютрите могат да намалят значително времето, необходимо за обработване на данните. Прилагането на тази техника за дълбоко обучение създава изкуствени невронни мрежи.

Необходимостта от високоскоростно дълбоко обучение се очерта като най-важната изчислителна натовареност на нашето поколение. През последните пет години изкуственият интелект (AI) се е издигнал от неизвестност до осведоменост на върха на съзнанието, именно поради напредъка в задълбоченото обучение. Задачите, които в миналото са били изпълнявани от хората, сега се изпълняват рутинно от компютри на човешко и дори свръхчовешко ниво.

Дълбокото обучение се е превърнало в дълбоко изчислително и интензивно. Неотдавнашен доклад на OpenAI показа, че между 2012 и 2018 г. изчисленията, използвани за обучение на най-големите модели, се увеличават с 300 000 пъти. С други думи, AI изчисленията нарастват със скорост, която е 25 000 пъти по-бърза от закона на Мур* в своя пик. Търсенето на AI изчисления се удвоява на всеки 3,5 месеца. Това ненаситно търсене на изчисления означава, че изкуственият интелект е ограничен не от приложения или идеи, а от наличието на способи за изчисления.

Тестването на една-единствена нова хипотеза - обучение на нов модел - отнема седмици или месеци и може да струва стотици хиляди долари. Google, Facebook и Baidu, наред с други, отбелязаха, че дългото време за обучение е основната пречка за напредъка на AI технологиите; че много важни идеи се игнорират просто защото тези модели отнемат твърде много време за обучение.

За да отговори на нарастващите изчислителни изисквания на AI, компанията Cerebras Systems е проектирала и произвежда най-големия чип, създаван някога. Wafer Scale engine Cerebras (WSE) е 46,225 кв. милиметра съдържа повече от 1,2 трилиона транзистора, докато в обикновените са не повече от 10 милиарда, и е напълно оптимизиран за дълбока учебна работа. По-големите чипове обработват по-бързо информацията и генерират отговори за по-малко време. WSE намалява времето, необходимо за извършване на най-сложните AI процедури и изчисления от месеци до минути.

Заедно с това компанията пpeдcтaви и нaй-бъpзия в cвeтa cyпepĸoмпютъp СЅ-1, cпeциaлнo oптимизиpaн зa извъpшвaнe нa изчиcлeния в oблacттa нa изĸycтвeния интeлeĸт и мaшиннoтo oбyчeниe. Toй e инcтaлиpaн в Apгoнcĸaтa нaциoнaлнa лaбopaтopия нa CAЩ.

Системата съдържа 400 000 пpoцecopни ядpa и щe бъде използвана зa мoдeлиpaнe на необясними по друг начин за хората събития като cблъcĸвaниятa нa чepнитe дyпĸи. Щe пoмaгa и в oтĸpивaнeтo нa нoви лeĸapcтвa зa oнĸoбoлнитe, щe тъpcи пo-eфeĸтивни мeтoди зa лeчeниe нa чepeпнo-мoзъчнитe тpaвми.

Bceĸи eдин ĸoмпoнeнт нa cyпepĸoмпютъpa СЅ-1 e пpoeĸтиpaн и cъздaдeн oт нyлaтa и e cпeциaлнo пpeднaзнaчeн зa peшeниeтo нa зaдaчи и aлгopитми oт oблacттa нa нeвpoннитe мpeжи. Πo тoзи нaчин ce ocигypявa мнoгo виcoĸa пpoизвoдитeлнocт пpи ниcĸa ĸoнcyмaция нa eнepгия и пpи мнoгo пo-мaлĸи paзмepи нa ycтpoйcтвoтo.

Архитектурата на Cerebras: Двигателят на Wafer Scale на Cerebras ускорява изчисляването и комуникацията и по този начин намалява времето за дълбоко обучение (Deep learning). Чипът е 56 пъти по-голям от най-големия графичен процесор.

Тези ядра са създадени специално за работа с AI. Те са малки и бързи, не съдържат кеш и са елиминирали други функции и пречки, които са необходими в ядра с общо предназначение, но не играят полезна роля в процесор за дълбоко обучение (Deep learning).

Cerebras WSE има 18 гигабайта чип памет и 9.6 Petabytes/ sof честотна лента на паметта. Съответно това е 3000 и 10 000 пъти повече от водещия в момента графичен процесор.

Процесът е следния: с всяка нова извадка за обучение, мрежата променя начина, по който прави своите прогнози за изхода, така че непрекъснато намалява грешката; грешката е разликата между прогнозирания изход и правилния изход.

Мащаб: Досега никой никога не е изграждал и не е въвеждал на пазара чип по-голям от 840 квадратни мм. През последните шест години графичните процесори на Nvidia например са нараснали от 551 квадратни милиметра до 815 квадратни милиметра.

Предизвикателствата при проектирането, производството, захранването, охлаждането, комуникацията и координацията са огромни. Но обещанието е огромно. Полученият чип ще бъде 50x по-голям от най-големия чип на пазара днес.

*Законите на Мур са емпирични закони, свързани с непрекъснатото усъвършенстване на производството на интегрални схеми. Първият е формулиран от Гордън Мур, съосновател на Интел, а другите също са наричани от своите създатели „закони на Мур“, но се отнасят също до експоненциалния ръст на други величини и това е общото им с първия. Законите на Мур се отнасят до технологията на микроелектрониката и по-точно до развитието на изчислителната мощ на микропроцесорите и уплътнението на интегралните схеми.