Trinity-Large-Base — это предварительно обученная базовая модель из тренировочного цикла Trinity Large от Arcee AI. Это разреженная модель Mixture of Experts (MoE) с 398B параметрами и примерно 13B активных параметров на токен. Контрольная точка была зафиксирована после 17 триллионов токенов предварительного обучения, включая отжиг скорости обучения в середине обучения и расширение контекста, но до какой-либо настройки инструкций или обучения с подкреплением. Эта контрольная точка представляет собой завершенный этап предварительного обучения и служит основой для исследований и последующей тонкой настройки. Более подробная информация об обучении Trinity Large доступна в техническом отчете. Семейство Trinity Large состоит из трех контрольных точек из одного и того же обучающего прогона: — Trinity-Large-Base (этот выпуск): полная предварительно обученная базовая модель с 17T-токенами и отжигами в середине обучения — Trinity-Large-TrueBase: контрольная точка перед отжигом с 10T-токенами без данных инструкций — Trinity-Large-Preview: слегка постобученная, готовая к общению модель, проходящая активное RL Trinity-Large-Base использует разреженную конфигурацию MoE, предназначенную для максимизации эффективности при сохранении крупномасштабной емкости. — Жетоны обучения: 17 триллионов — Тип контрольной точки: после отжига (фундамент) — Данные инструкции:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: arcee-ai
Теги: afmoe, conversational, custom_code, en, es, fr, de, it
Лайков: 52 | Загрузок: 59
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
