Virtuoso-Lite (10B) — это наша языковая модель нового поколения с 10 миллиардами параметров, основанная на архитектуре Llama-3. Он основан на Deepseek-v3 и использует ~1,1 млрд токенов/логитов, что позволяет ему достигать надежной производительности при значительно меньшем количестве параметров по сравнению с более крупными моделями. Несмотря на свои компактные размеры, Virtuoso-Lite превосходно справляется с множеством задач, демонстрируя расширенные возможности рассуждения, генерации кода и решения математических задач. — Базовая архитектура: Falcon-10B (на основе Llama-3) — Число параметров: 10B — Токенизатор: — Первоначально интегрирован с токенизатором Deepseek-v3 для извлечения логитов. — При окончательном согласовании используется токенизатор Llama-3 со специальной «хирургией токенизатора» для обеспечения межархитектурной совместимости. — Данные дистилляции: — ~1,1 млрд токенов/логитов из обучающих данных Deepseek-v3. — Дистилляция на логит-уровне с использованием запатентованного подхода «слияния слияний» для максимальной точности. — Лицензия: falcon-llm-license Deepseek-v3 служит обучающей моделью, из которой мы получаем логиты по миллиардам токенов. Вместо стандартной контролируемой точной настройки Virtuoso-Lite применяет полную репликацию на логит-уровне, чтобы сохранить наиболее важные идеи преподавателя. Этот…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: arcee-ai
Теги: llama, mergekit, merge, conversational, text-generation-inference, endpoints_compatible
Лайков: 38 | Загрузок: 46
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
