Это квантованная версия PrimeIntellect/INTELLECT-1-Instruct, созданная с использованием llama.cpp INTELLECT-1 — первая совместно обученная языковая модель с 10 миллиардами параметров, обученная с нуля на 1 триллионе токенов английского текста и кода. Это модель INSTRUCT. Базовой моделью, связанной с ним, является INTELLECT-1. INTELLECT-1 был обучен на 14 параллельных узлах, распределенных по 3 континентам, с участием 30 независимых участников сообщества, обеспечивающих вычисления. Учебный код использует основной фреймворк, масштабируемый распределенный фреймворк обучения, предназначенный для отказоустойчивого, динамически масштабируемого, высокоэффективного обучения ненадежных, глобально распределенных работников. Ключевой абстракцией, которая позволяет динамическое масштабирование, является ElasticDeviceMesh, который управляет динамическими глобальными группами процессов для отказоустойчивой связи через Интернет и локальными группами процессов для связи внутри узла. Модель была обучена с использованием алгоритмов DiLoCo со 100 внутренними шагами. Глобальное сокращение было выполнено с помощью пользовательских ядер int8 all-reduce для уменьшения требуемой полезной нагрузки связи, что значительно уменьшило накладные расходы на связь в 400 раз. Для получения более подробной технической…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: QuantFactory
Теги: gguf, en, endpoints_compatible, conversational
Лайков: 3 | Загрузок: 1,286
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
