Trinity Mini — модель Arcee AI 26B MoE с активными параметрами 3B. Это модель среднего размера в нашем новом семействе Trinity, серии моделей открытого веса, предназначенных как для предприятий, так и для мастеров. Эта базовая модель предварительно настроена, поэтому не подходит для общения в чате, и перед использованием ее следует подготовить для вашего конкретного домена. Trinity Mini обучается на токенах 10T, собранных и курируемых в рамках ключевого партнерства с Datology, на основе превосходного набора данных, который мы использовали на AFM-4.5B, с дополнительными математическими вычислениями и кодом. Обучение проводилось на кластере из 512 графических процессоров H200 на базе Prime Intellect с использованием параллелизма HSDP. Более подробную информацию, включая ключевые архитектурные решения, можно найти в нашем блоге здесь. Попробуйте модель рассуждения на сайтеchat.arcee.ai или загрузите здесь: arcee-ai/Trinity-Mini Архитектура модели: AfmoeForCausalLM Параметры: 26B, 3B активных Экспертов: всего 128, 8 активных, 1 общий Длина контекста: 128 тыс. Тренировочных жетонов: 10T Лицензия: Apache 2.0
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: arcee-ai
Теги: afmoe, conversational, custom_code, en, es, fr, de, it
Лайков: 21 | Загрузок: 1,233
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
