Virtuoso-Small-v2 (14B) — это наша языковая модель следующего поколения с 14 миллиардами параметров, основанная на исходной архитектуре Virtuoso-Small. Эта версия основана на Deepseek-v3 и использует расширенный набор данных, состоящий из 5 миллиардов токенов логитов. — Базовая архитектура: Qwen-2.5-14B — Число параметров: 14B — Токенизатор: — Первоначально интегрирован с токенизатором Deepseek-v3 для извлечения логитов. — Для окончательного согласования используется токенизатор Qwen, использующий специальную «хирургию токенизатора» для обеспечения межархитектурной совместимости. — Данные дистилляции: — ~1,1 млрд токенов/логитов из обучающих данных Deepseek-v3. — Дистилляция на логит-уровне с использованием запатентованного подхода «слияния слияний» для максимальной точности. — Лицензия: Apache-2.0 Deepseek-v3 служит обучающей моделью, из которой мы собираем логиты по миллиардам токенов. Вместо стандартной контролируемой тонкой настройки мы применяем полную репликацию на уровне логита. Это обеспечивает более точную передачу знаний, включая расширенные рассуждения в: — Технические и научные запросы — Генерация сложного кода — Решение математических задач — Начальное обучение: началось с Qwen-14B, откалиброванного для приема крупномасштабного текста. — Дистилляция и слияние: — Обучение на…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: arcee-ai
Теги: qwen2, conversational, text-generation-inference, endpoints_compatible
Лайков: 35 | Загрузок: 1,346
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
