Обучението на хитовия AI модел на Deepseek е струвало само 294 хил. долара

Обучението на хитовия AI модел на Deepseek е струвало само 294 хил. долара

Китайският стартъп за изкуствен интелект DeepSeek заяви, че е похарчил 294 000 долара за обучение на своя модел R1 в статия, която вероятно ще възобнови дебата за мястото на Пекин в надпреварата за разработване на изкуствен интелект, пише Ройтерс.

Рядката актуализация от базираната в Ханджоу компания - първата оценка, която е публикувала за разходите за обучение на R1, се появи в рецензирана статия в академичното списание Nature, публикувана в сряда.

Представянето на по-евтини системи с изкуствен интелект от Deepseek през януари накара глобалните инвеститори да се отдръпнат от технологични акции на фона на опасенията, че новите модели биха могли да застрашат господството на лидерите в областта на изкуствения интелект, включително Nvidia.

В статията в Nature, в която основателят на компанията Лян Уенфън  е посочен като един от съавторите, се казва, че обучението на модела R1 на DeepSeek, фокусиран върху разсъжденията, е струвало 294 000 долара и е използвало 512 чипа Nvidia H800. Предишна версия на статията, публикувана през януари, не съдържаше тази информация.

Разходите за обучение на т. нар. големи езикови модели, захранващи чатботове с изкуствен интелект, се отнасят до разходите, направени от работата на клъстер от мощни чипове в продължение на седмици или месеци за обработка на огромни количества текст и код.

Сам Алтман, главен изпълнителен директор на американския гигант в областта на изкуствения интелект OpenAI, заяви през 2023 г., че обучението на фундаменталните модели е струвало „много повече“ от 100 милиона долара, въпреки че компанията му не е предоставила подробни данни за нито един от AI моделите си.

Някои от твърденията на DeepSeek относно разходите за разработка и използваната технология бяха поставени под въпрос от американски компании и длъжностни лица.

Споменатите чипове H800 са проектирани от Nvidia за китайския пазар, след като през октомври 2022 г. САЩ забраниха на компанията да изнася по-мощните AI чипове H100 и A100 за Китай.

През юни американски служители заявиха пред Ройтерс, че DeepSeek има достъп до „големи обеми“ чипове H100, които са били закупени след въвеждането на контрол върху износа от САЩ. По това време Nvidia заяви пред Ройтерс, че DeepSeek е използвала законно придобити чипове H800, а не H100.

В допълнителен информационен документ, придружаващ статията в Nature, компанията за първи път призна, че притежава чипове A100 и заяви, че ги е използвала в подготвителните етапи на разработка.

„Що се отнася до нашите изследвания върху DeepSeek-R1, използвахме графичните процесори A100, за да се подготвим за експериментите с по-малък модел“, посочват изследователите. След тази начална фаза R1 е бил обучен общо 80 часа на клъстер от 512 чипа H800, добавят те.

Ройтерс вече съобщи, че една от причините DeepSeek да е успяла да привлече някои от най-блестящите умове в Китай е, че е била една от малкото местни компании, които управляват клъстер от суперкомпютри A100.

DeepSeek също така отговори за първи път, макар и не директно, на твърденията на висш съветник на Белия дом и други фигури в областта на изкуствения интелект в САЩ през януари, че умишлено е „дестилирала“ моделите на OpenAI в свои собствени.

DeepSeek последователно защитава дестилацията като водеща до по-добра производителност на моделите, като същевременно е много по-евтина за обучение и експлоатация, което позволява по-широк достъп до технологии, задвижвани от изкуствен интелект, поради енергоемките изисквания на тези модели за ресурси.

Терминът се отнася до техника, при която една система с изкуствен интелект се учи от друга система с изкуствен интелект, позволявайки на по-новия модел да се възползва от инвестициите във време и изчислителна мощност, вложени в изграждането на по-ранния модел, но без свързаните с това разходи.

DeepSeek заяви през януари, че е използвала модела с отворен код Llama AI на Meta за някои дестилирани версии на собствените си модели.

В статията Nature DeepSeek посочва, че данните за обучението на техния V3 модел разчитат на обходени уеб страници, които съдържат „значителен брой генерирани от модела на OpenAI отговори, което може да накара базовия модел да придобие знания от други мощни модели индиректно“.

Но от компанията отбелязаха, че това не е умишлено, а по-скоро случайно.

Коментари

НОВ КОМЕНТАР

НАЙ-НОВО

|

НАЙ-ЧЕТЕНИ

|

НАЙ-КОМЕНТИРАНИ

LinkedIn и краят на илюзията за “професионална” социална мрежа
Фон дер Лайен предлага нов заем от 45 млрд. евро за Украйна
Започва строителството на третия лъч на метрото
Смяна в ръководството на Kaufland България: Петя Владимирова поема поста председател на Управителния съвет
Товарен кораб потъва край нос Калиакра
От кариерни контакти до първа среща: LinkedIn се превръща в неочаквана платформа за запознанства
АПИ: Днес избягвайте магистрала Хемус, ако е възможно
50-те най-добри ресторанта в света за 2026 г.: Първите три места са в Испания, Тайланд и Дания
Тръгват големи съкращения в "Арсенал"
България планира да придобие 57 самоходни гаубици „Сезар“ от Франция
Евтино и лесно
Интимният скандал с шефа на Nvidia Дженсън Хуанг вдигна търсенето на кожените якета Tom Ford
Американският военноморски флот е събрал над 20 кораба в Близкия изток
Международни хакери шпионирали българските държавни институции цели 5 години
Председателят на НСИ: Инфлацията е около 6%, но доходите продължават да изпреварват ръста на цените
КЗК разреши инвестицията на „Шнайдер Електрик“ в българската „Шелли Груп“
50 от най-полезните сайтове в интернет
22 цитата, които родителите ще оценят
Украйна увеличава натиска върху руската логистична мрежа с удари по Кримския мост
Унгарските власти откриха близо 20 млн. долара в брой при разследване срещу бивш министър на Орбан
Започват да изплащат добавката от 50 евро за Коледа