Trinity-Large-Preview — это разреженная модель Mixture-of-Experts (MoE) с 398 миллиардами параметров и примерно 13 миллиардами активных параметров на токен. Это крупнейшая модель в семействе Trinity от Arcee AI, обученная на более чем 17 триллионах токенов и обеспечивающая высочайшую производительность с сильным пониманием долгого контекста. Trinity-Large-Preview — это модель с легким постобучением, основанная на Trinity-Large-Base. Этот репозиторий содержит квантованные веса W4A16 Trinity-Large-Preview (веса INT4, 16-битные активации). Более подробная информация об обучении Trinity Large доступна в техническом отчете. — Схема: W4A16 (веса INT4, 16-битные активации) — Назначение: 4-битное развертывание Trinity-Large-Preview с сохранением качества. Семейство Trinity Large состоит из четырех контрольных точек из одного и того же обучающего прогона: — Trinity-Large-Preview: слегка прошедшая постобученную, готовая к общению модель, проходящая активное RL — Trinity-Large-Thinking: Оптимизированное для рассуждения, агентное пост-обучение с расширенной цепочкой мыслей — Trinity-Large-TrueBase: контрольная точка предварительного отжига с 10T-токенами — Trinity-Large-Base: полная предварительно обученная базовая модель с 17T-токенами и отжигами в середине обучения Trinity-Large-Preview использует разреженную конфигурацию MoE…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: arcee-ai
Теги: afmoe, conversational, custom_code, en, es, fr, de, it
Лайков: 8 | Загрузок: 55
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
