Arcee-Maestro-7B-Preview (7B) — это первая модель рассуждения Arcee, обученная с помощью дополнительного обучения. В его основе лежит перегонный аппарат Qwen2.5-7B DeepSeek-R1 DeepSeek-R1-Distill-Qwen-7B с дальнейшей подготовкой GRPO. Хотя это всего лишь предварительный обзор нашей предстоящей работы, она уже демонстрирует многообещающие улучшения математических способностей и навыков программирования в ряде задач. — Базовая архитектура: DeepSeek-R1-Distill-Qwen-7B (Qwen2.5-7B) — Количество параметров: 7B — Обучение с подкреплением: GRPO с 450 000 проверенными математическими задачами с некоторыми примерами кодирования — Лицензия: Apache-2.0 Предварительная версия Arcee Maestro 7B показывает большие успехи в математике и кодировании, превосходя предварительную версию O1 по многим показателям. — Начальное обучение: началось с DeepSeek-R1-Distill-Qwen-7B — GRPO: — Обучено на 450 000 проверенных математических задачах — Дополнительные примеры самозагрузки Arcee-Maestro-7B-Preview показывает высокие результаты в математике, а также в кодировании, конкурируя даже с предварительной версией O1, моделью, намного превосходящей ее размер. — Длина контекста: 128 тыс. токенов (может варьироваться в зависимости от окончательных настроек токенизатора и системных ресурсов). — Прекращение знаний: данные обучения могут не отражать последние события или разработки после июня 2024 года. — Содержание…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: arcee-ai
Теги: qwen2, conversational, text-generation-inference, endpoints_compatible
Лайков: 38 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
