Суперсеть микшера токенов с 15B параметрами и 8 оптимизированными предустановками развертывания, охватывающими пропускную способность декодирования от 1,0 до 10,7x при длине последовательности 32 КБ, и все это из одной контрольной точки. Получено из Апреля-1.6 посредством стохастической дистилляции и целевой контролируемой точной настройки. — Размер модели: 15B параметров — Слои: 48 слоев декодера, каждый с 4 вариантами микшера — Длина контекста: 262 тыс. позиций (зависит от времени выполнения) — Языки: английский (лучший) — Гибкое развертывание из одной контрольной точки: несколько пресетов, обменивающих пропускную способность на качество — Четыре типа микшера на уровень: полное внимание (FA), внимание скользящего окна (SWA), Gated DeltaNet (GDN), внимание Kimi Delta (KDA) — Настраиваемый с помощью инструкций: целевой SFT с несколькими оптимальными по Парето размещениями. Поддержка спекулятивного декодирования: используйте все внимание в качестве цели с эффективными размещениями в качестве черновиков из одной и той же контрольной точки. Подробные контрольные показатели, кривые удержания качества и полную информацию см. в отчете. Каждый пресет представляет собой определенное назначение одного микшера на слой. Все пресеты имеют одну и ту же контрольную точку — во время вывода различается только выбор микшера. 1. Этап 1 — Стохастическая дистилляция: все четыре типа смесителей одновременно обучаются дистилляции из замороженного…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: ServiceNow-AI
Теги: apriel2, image-text-to-text, conversational, custom_code
Лайков: 10 | Загрузок: 62
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
