Trinity-Mini-Base-Pre-Anneal — это модель Arcee AI 26B MoE с активными параметрами 3B. Это модель среднего размера в нашем новом семействе Trinity, серии моделей открытого веса, предназначенных как для предприятий, так и для мастеров. Эта базовая модель представляет собой контрольную точку перед отжигом, зафиксированную на Адаме LR: 0,0002, Мюоне LR: 0,001 перед началом снижения скорости обучения на высококачественном миксе данных. Хотя эта контрольная точка не подвергалась воздействию смеси фаз отжига, содержащей большое количество математических данных и кода, она была обучена на значительном объеме таких данных. Эта контрольная точка не подходит для общения в чате или общего использования без дальнейшей тонкой настройки, и перед использованием ее следует подготовить для вашего конкретного домена. Trinity-Mini-Base-Pre-Anneal обучен на токенах 8.8T, собранных и курируемых в рамках ключевого партнерства с Datology, на основе превосходного набора данных, который мы использовали на AFM-4.5B, с дополнительными математическими вычислениями и кодом. Обучение проводилось на кластере из 512 графических процессоров H200 на базе Prime Intellect с использованием параллелизма HSDP. Более подробную информацию, включая ключевые архитектурные решения, можно найти в нашем блоге здесь. Архитектура модели: AfmoeForCausalLM Параметры: 26B, 3B активных Экспертов: всего 128, 8 активных, 1 общий Длина контекста: 4 КБ…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: arcee-ai
Теги: afmoe, custom_code, en, es, fr, de, it, pt
Лайков: 14 | Загрузок: 68
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
