Trinity Nano Preview — это предварительная версия модели 6B MoE от Arcee AI с активными параметрами 1B. Это малогабаритная модель в нашем новом семействе Trinity, серии моделей с открытым весом, предназначенных как для предприятий, так и для мастеров. Это модель, настроенная для чата, обладающая восхитительной индивидуальностью и очарованием, которые, как мы думаем, понравятся пользователям. Мы отмечаем, что эта модель расширяет границы разреженности в небольших языковых моделях, где на каждый токен активны только 800 миллионов невстраиваемых параметров, и поэтому в определенных случаях использования она может быть нестабильной, особенно в этой предварительной версии. Это экспериментальный выпуск, с ним интересно общаться, но он нигде не будет размещен, так что скачайте его и попробуйте сами! Trinity Nano Preview обучается на токенах 10T, собранных и курируемых в рамках ключевого партнерства с Datology, на основе превосходного набора данных, который мы использовали на AFM-4.5B, с дополнительными математическими вычислениями и кодом. Обучение проводилось на кластере из 512 графических процессоров H200 на базе Prime Intellect с использованием параллелизма HSDP. Более подробную информацию, включая ключевые решения по архитектуре, можно найти в нашем блоге здесь. Архитектура модели: AfmoeForCausalLM Параметры: 6B, 1B активных Экспертов: всего 128, 8 активных, 1 общий Длина контекста: 128 тыс. Учебных токенов: 10T Лицензия: Apache 2.0…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: arcee-ai
Теги: afmoe, conversational, custom_code, en, es, fr, de, it
Лайков: 67 | Загрузок: 16,948
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
