Arcee-Blitz (24B) — это новая модель 24B на базе Mistral, созданная на основе DeepSeek, разработанная для того, чтобы быть одновременно быстрой и эффективной. Мы рассматриваем ее как практичную «рабочую лошадку», которая может решать целый ряд задач без накладных расходов, связанных с более крупными архитектурами. — Базовая архитектура: Mistral-Small-24B-Instruct-2501 — Количество параметров: 24B — Данные дистилляции: — Объединенный конвейер Virtuoso с архитектурой Mistral, горячий запуск обучения с более чем 3B токенами предварительной дистилляции из логитов DeepSeek-V3 — Точная настройка и пост-обучение: — После захвата основных логитов мы выполнили дополнительные этапы тонкой настройки и дистилляции для общего улучшения производительность. — Лицензия: Apache-2.0 Arcee-Blitz демонстрирует значительные улучшения производительности MMLU-Pro по сравнению с исходным Mistral-Small-3, что отражает резкий рост мировых знаний. Мы тщательно проверили наши обучающие данные и конвейер, чтобы избежать заражения. Хотя мы уверены в обоснованности этих достижений, мы по-прежнему открыты для дальнейшей проверки и тестирования сообществом (одна из ключевых причин, по которой мы выпускаем эти модели с открытым исходным кодом). — Длина контекста: 32 тыс. токенов (может варьироваться в зависимости от окончательных настроек токенизатора и системных ресурсов). — Прекращение знаний:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: arcee-ai
Теги: mistral, conversational, text-generation-inference, endpoints_compatible
Лайков: 79 | Загрузок: 38
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
