Trinity-Large-TrueBase — это базовая контрольная точка перед тренировкой из тренировочного цикла Trinity Large от Arcee AI. Это разреженная модель Mixture of Experts (MoE) с 398B параметрами и примерно 13B активных параметров на токен. Контрольная точка была зафиксирована после 10 триллионов токенов предварительного обучения, перед отжигом скорости обучения и перед какой-либо настройкой инструкций или обучением с подкреплением. Эта контрольная точка предназначена для исследований, зондирования, исследований абляции и последующей точной настройки и не требует какого-либо предварительного выравнивания, форматирования инструкций или оптимизации предпочтений. Более подробная информация об обучении Trinity Large доступна в техническом отчете. Семейство Trinity Large состоит из трех контрольных точек из одного и того же обучающего прогона: — Trinity-Large-TrueBase (данный выпуск): контрольная точка предварительного отжига с 10T-токенами без данных инструкций — Trinity-Large-Base: полная предварительно обученная базовая модель с 17T-токенами и отжигами в середине обучения — Trinity-Large-Preview: слегка постобученная, готовая к общению модель, проходящая активное RL Trinity-Large-TrueBase использует разреженную конфигурацию MoE, предназначенную для максимизации эффективности при сохранении крупномасштабной емкости. — Жетоны обучения: 10 триллионов — Тип контрольной точки: предварительный отжиг -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: arcee-ai
Теги: afmoe, conversational, custom_code, en, es, fr, de, it
Лайков: 61 | Загрузок: 149
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
