Гибридная модель рассуждения с 15B параметрами, объединяющая уровни внимания Transformer и пространства состояний Mamba для обеспечения высокой эффективности и масштабируемости. Созданный на основе Apriel-Nemotron-15B-Thinker путем прогрессивной дистилляции, Apriel-H1 заменяет менее важные уровни внимания линейными блоками Mamba, обеспечивая более чем в 2 раза более высокую производительность вывода в vLLM с минимальными потерями в рассуждениях, математических вычислениях и производительности кодирования. — Размер модели: 15 Б параметров — Длина контекста: 65 КБ (цель; зависит от времени выполнения) — Языки: английский (лучший) — Архитектура гибридного трансформатора и SSM — Увеличение пропускной способности примерно в 2 раза по сравнению с базовой моделью Thinker — Сохраняет сильные возможности рассуждения, математики и кодирования — Создан с помощью эффективной дистилляции — обучение с нуля не требуется. Apriel-H1-15b-Thinker предназначен для агентских задач, помощи в написании кода и многоэтапного рассуждения. Это соответствует стилю Априэль «подумай, затем ответь»: модель сначала выдает скрытую цепочку мыслей, а затем краткий окончательный ответ. Если следы рассуждений нежелательны, настройте подсказки так, чтобы они давали краткие результаты. Все модели были оценены с конечными точками сервера vllm с использованием FlashInfer (за исключением AI21-Jamba-Reasoning-3B, который использовал FlashAttention2), был установлен mamba_cache…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ServiceNow-AI
Теги: apriel_h, conversational, custom_code
Лайков: 29 | Загрузок: 530
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
