Большинство продвинутых моделей обучения с подкреплением (RL) в недавних исследованиях с открытым исходным кодом зависят от крупномасштабных базовых моделей, например, с 32 миллиардами параметров, особенно для расширения возможностей рассуждения кода. Исторически сложилось так, что достижение одновременного прогресса в математических способностях и способностях к программированию в рамках небольших моделей считалось сложной задачей. Однако мы считаем, что логический потенциал моделей, обученных с помощью RL, фундаментально связан с возможностями, присущими их базовой модели. Чтобы полностью использовать логический потенциал языковых моделей, стратегии как до обучения, так и после обучения должны быть оптимизированы для задач рассуждения. Мы представляем Spec-T1-Base-7B, модель, обученную с нуля и разработанную для обеспечения хорошей производительности рассуждений. Эксперименты RL с Spec-T1-Base-7B показывают, что он превосходит гораздо более крупные модели 32B. Кроме того, мы разработали Spec-T1-RL-7B, модель, обученную RL, полученную на основе базовой модели, которая обеспечивает превосходные результаты в математике и анализе кода, сравнимые с o1 OpenAI. Мы открываем исходный код серии Spec-T1-7B, включая контрольные точки для Spec-T1-Base-7B и Spec-T1-RL-7B, чтобы предоставить ценную информацию для создания высокопроизводительного языка рассуждений…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: SVECTOR-CORPORATION
Теги: spect1, conversational, custom_code, en
Лайков: 6 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
