Trinity-Large-Preview — это разреженная модель Mixture-of-Experts (MoE) с 398 миллиардами параметров и примерно 13 миллиардами активных параметров на токен. Это крупнейшая модель в семействе Trinity от Arcee AI, обученная на более чем 17 триллионах токенов и обеспечивающая высочайшую производительность с сильным пониманием долгого контекста. Trinity-Large-Preview — это модель с легким постобучением, основанная на Trinity-Large-Base. Более подробная информация об обучении Trinity Large доступна в техническом отчете. Семейство Trinity Large состоит из трех контрольных точек из одного и того же обучающего прогона: — Trinity-Large-Preview (данный выпуск): слегка постобученная, готовая к общению модель, подвергающаяся активному RL — Trinity-Large-TrueBase: контрольная точка предварительного отжига с 10T-токенами — Trinity-Large-Base: полная предварительно обученная базовая модель с 17T-токенами и отжигами в середине обучения Trinity-Large-Preview использует разреженную конфигурацию MoE, предназначенную для максимизации эффективности при сохранении крупномасштабной емкости. — Аппаратное обеспечение: 2048 графических процессоров NVIDIA B300 — Параллелизм: HSDP + экспертный параллелизм — Партнер по вычислениям: Prime Intellect Используйте ветку основных преобразователей или передайте TrustRemotecode=True для выпущенной версии. Поддерживается в последней версии среды выполнения LM Studio. Искать…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: arcee-ai
Теги: afmoe, conversational, custom_code, en, es, fr, de, it
Лайков: 159 | Загрузок: 522
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
