Языковая модель Bittensor (BTLM-3B-8k-base) — это языковая модель с 3 миллиардами параметров и длиной контекста 8 тысяч, обученная на 627 миллиардах токенов SlimPajama. BTLM-3B-8k-base устанавливает новый стандарт для моделей с параметрами 3B, превосходя модели, обученные на сотнях миллиардов токенов, и достигая производительности, сопоставимой с открытием моделей с параметрами 7B. База BTLM-3B-8k также может быть квантована до 4 бит, чтобы соответствовать устройствам с объемом памяти всего 3 ГБ. Модель доступна с лицензией Apache 2.0 для коммерческого использования. BTLM прошел обучение в компании Cerebras в партнерстве с Opentensor на недавно представленном суперкомпьютере Condor Galaxy 1 (CG-1), первом публичном продукте стратегического партнерства G42-Cerebras. BTLM-3B-8k был обучен с использованием архитектуры, аналогичной CerebrasGPT, с добавлением нелинейности SwiGLU, встраивания позиций ALiBi и максимальной параметризации обновления (muP). Модель обучалась на 1 эпоху SlimPajama-627B. 75% обучения было выполнено с длиной последовательности 2 тыс. Последние 25% обучения выполнялись с длиной последовательности 8 тыс., что позволяет использовать приложения с длинными последовательностями. BTLM-3B-8k-base: — Лицензия для коммерческого использования (Apache 2.0). — Современная модель параметров 3B. -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: cerebras
Теги: btlm, causal-lm, Cerebras, BTLM, custom_code, en
Лайков: 268 | Загрузок: 278
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
