Arcee-SuperNova-Medius — это языковая модель с 14B параметрами, разработанная Arcee.ai и построенная на архитектуре Qwen2.5-14B-Instruct. Эта уникальная модель является результатом межархитектурного конвейера дистилляции, объединяющего знания моделей Qwen2.5-72B-Instruct и модели Llama-3.1-405B-Instruct. Используя сильные стороны этих двух различных архитектур, SuperNova-Medius обеспечивает высококачественное выполнение инструкций и комплексные возможности рассуждения в ресурсоэффективной форме среднего размера. SuperNova-Medius разработан, чтобы преуспеть в различных случаях использования в бизнесе, включая поддержку клиентов, создание контента и техническую помощь, сохраняя при этом совместимость с небольшими аппаратными конфигурациями. Это идеальное решение для организаций, которым необходимы расширенные возможности без высоких требований к ресурсам, присущих более крупным моделям, таким как SuperNova-70B. Разработка SuperNova-Medius включала сложный процесс межархитектурной дистилляции с участием нескольких преподавателей, включающий следующие ключевые этапы: 1. Логитовая дистилляция из Llama 3.1 405B: — Мы дистиллировали логиты Llama 3.1 405B, используя автономный подход. — Верхние K логитов для каждого токена сохранялись для захвата…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: arcee-ai
Теги: qwen2, mergekit, merge, conversational, model-index, text-generation-inference, endpoints_compatible
Лайков: 218 | Загрузок: 68
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
