Trinity Nano — модель Arcee AI 6B MoE с активными параметрами 1B. Это малогабаритная модель в нашем новом семействе Trinity, серии моделей с открытым весом, предназначенных как для предприятий, так и для мастеров. Эта базовая модель предварительно настроена, поэтому не подходит для общения в чате, и перед использованием ее следует подготовить для вашего конкретного домена. Trinity Nano обучена работе с токенами 10T, собранными и курируемыми в рамках ключевого партнерства с Datology, основываясь на превосходном наборе данных, который мы использовали на AFM-4.5B, с дополнительными математическими вычислениями и кодом. Обучение проводилось на кластере из 512 графических процессоров H200 на базе Prime Intellect с использованием параллелизма HSDP. Более подробную информацию, в том числе ключевые архитектурные решения, можно найти в нашем блоге здесь. Архитектура модели: AfmoeForCausalLM Параметры: 6B, 1B активных Экспертов: всего 128, 8 активных, 1 общий Длина контекста: 128 000 Токенов обучения: 10T Лицензия: Apache 2.0
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: arcee-ai
Теги: afmoe, conversational, custom_code, en, es, fr, de, it
Лайков: 26 | Загрузок: 2,947
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
