StableLM-3B-4E1T — это языковая модель с 3 миллиардами параметров, предназначенная только для декодера, предварительно обученная на 1 триллионе токенов различных наборов данных английского языка и кодов для 4 эпох. Начните генерировать текст с помощью StableLM-3B-4E1T, используя следующий фрагмент кода: Разработчик: Stability AI Тип модели: Модели StableLM-3B-4E1T представляют собой авторегрессионные языковые модели, основанные на архитектуре декодера преобразователя. Язык(и): английский Библиотека: Лицензия GPT-NeoX: Контрольные точки модели лицензируются по лицензии Creative Commons (CC BY-SA-4.0). В соответствии с этой лицензией вы должны отдать должное Stability AI, предоставить ссылку на лицензию и указать, были ли внесены изменения. Вы можете сделать это любым разумным способом, но не таким образом, который бы предполагал, что ИИ стабильности одобряет вас или ваше использование. Контакт: По вопросам и комментариям о модели обращайтесь по электронной почте lm@stability.ai. Модель представляет собой преобразователь только для декодера, аналогичный архитектуре LLaMA (Touvron et al., 2023) со следующими модификациями: Встраивание позиций: Встраивание позиций вращения (Su et al., 2021), применяемое к первым 25% размеров встраивания головки для повышения пропускной способности согласно Black et al. (2022). Нормализация: LayerNorm (Ba et al., 2016) с…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: stabilityai
Теги: stablelm, causal-lm, en, model-index, endpoints_compatible
Лайков: 312 | Загрузок: 26,051
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
