Covenant-72B — это крупнейшая языковая модель, не требующая прав совместного обучения, обученная полностью с нуля в масштабе 72 миллиардов параметров на 1,1 триллионе токенов английского текста. Более подробную информацию смотрите в техническом отчете. Это базовая модель. См. «Ковенант-72B-Чат», чтобы узнать о варианте, настроенном на инструкции. Обучение Covenant-72B проводилось с участием более 20 участников, распределенных по всему миру, координация которых осуществлялась через децентрализованную инфраструктуру блокчейна Bittensor. В отличие от предыдущих совместных усилий по обучению, в которых использовались вычислительные средства из белого списка, Covenant-72B является первым, кто достиг такого масштаба с полностью несанкционированным участием. В ходе обучения использовался эффективный оптимизатор связи SparseLoCo, позволяющий снизить требования к пропускной способности между распределенными узлами. — Участники вычислений: более 20 независимых участников на Bittensor — Минимальные вычисления на одного участника: 8×B200 или эквивалент — Лицензия на модель: Apache 2.0 — Набор данных: базовый уровень DCLM — Токены: 1,1 триллиона — Оптимизатор: SparseLoCo (оптимизатор, эффективный для связи)
Модальности:
Генерация текста
Задача: Генерация текста
Автор: 1Covenant
Теги: llama, en
Лайков: 48 | Загрузок: 427
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
