Исследователи из Калифорнийского университета в Беркли совершили прорыв в области искусственного интеллекта, создав реплику основных возможностей модели DeepSeek R1-Zero всего за $30. Их проект под названием TinyZero доказывает, что продвинутые модели рассуждений искусственного интеллекта не обязательно должны стоить целое состояние, открывая новые возможности для исследований и разработок в этой сфере. Об этом сообщает издание GizmoChina.
Группа исследователей во главе с Цзяи Пан применила подход на основе обучения с подкреплением (RL) для воспроизведения модели рассуждений DeepSeek. Вместо дорогостоящих облачных сервисов и огромных вычислительных мощностей, TinyZero обучался с использованием базовой языковой модели, простого запроса и системы вознаграждения.
Цзяи Пан также подчеркнул, что TinyZero является первым открытым воспроизведением моделей рассуждений, демонстрирующим, как модель учится проверять и улучшать собственные ответы.
Для тестирования модели использовалась игра Countdown, в которой игрокам необходимо достичь целевого числа, используя основные математические операции. На начальном этапе TinyZero давал случайные ответы, но со временем научился проверять их, искать более оптимальные решения и корректировать свои действия.
В ходе экспериментов использовались модели с различным количеством параметров — от 500 миллионов до 7 миллиардов. Результаты показали, что меньшие модели (0,5 млрд параметров) просто выдавали случайные ответы, в то время как более крупные модели (1,5 млрд+ параметров) научились самопроверке, улучшению решений и значительно повысили точность.
Появление TinyZero за $30 означает, что теперь любой, а не только крупные технологические компании, может экспериментировать с моделями рассуждений искусственного интеллекта без значительных финансовых затрат.
TinyZero является проектом с открытым исходным кодом и доступен на GitHub, что позволяет любому желающему изучать и модифицировать его.
