ИНТЕЛЛЕКТ-1 — это первая совместно обучаемая языковая модель с 10 миллиардами параметров, обученная с нуля на 1 триллионе токенов английского текста и кода. Это обучающая модель. Базовая модель, связанная с ним, — ИНТЕЛЛЕКТ-1. ИНТЕЛЛЕКТ-1 обучался на 14 одновременных узлах, распределенных по 3 континентам, при участии 30 независимых участников сообщества, обеспечивающих вычисления. В коде обучения используется основная платформа — масштабируемая распределенная среда обучения, предназначенная для отказоустойчивого, динамически масштабируемого и высокопроизводительного обучения ненадежных, глобально распределенных работников. Ключевой абстракцией, обеспечивающей динамическое масштабирование, является ElasticDeviceMesh, который управляет динамическими глобальными группами процессов для обеспечения отказоустойчивой связи через Интернет и локальными группами процессов для связи внутри узла. Модель обучалась с использованием алгоритмов DiLoCo со 100 внутренними шагами. Глобальное all-reduce было выполнено с помощью специальных ядер all-reduce int8, чтобы уменьшить требуемую полезную нагрузку связи, что значительно снизило накладные расходы на связь в 400 раз. Более подробную техническую информацию можно найти в нашем техническом документе. — Участники вычислений: Prime Intellect,…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: PrimeIntellect
Теги: llama, conversational, en
Лайков: 125 | Загрузок: 42
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
