GPT-NeoX-20B — это авторегрессионная языковая модель с 20 миллиардами параметров, обученная на Pile с использованием библиотеки GPT-NeoX. Его архитектура намеренно напоминает GPT-3 и почти идентична GPT-J-6B. Его обучающий набор данных содержит множество текстов на английском языке, что отражает универсальный характер этой модели. Подробную информацию об архитектуре модели (в том числе о ее отличиях от GPT-3), процедуре обучения и дополнительных оценках см. в сопроводительном документе. — Разработчик: EleutherAI — Тип модели: Языковая модель на основе трансформатора — Язык: английский — Дополнительная информация: GPT-NeoX-20B: авторегрессионная языковая модель с открытым исходным кодом. Подробную информацию о наборе обучающих данных см. в документе Pile и в его технических данных. — Лицензия: Apache 2.0 — Контакт: чтобы задать вопросы по этой модели, присоединяйтесь к EleutherAI Discord и размещайте их в #release-discussion. Пожалуйста, прочтите существующую документацию GPT-NeoX-20B, прежде чем спрашивать о модели в Discord. Для общей переписки: contact@eleuther. ай. GPT-NeoX-20B был разработан в первую очередь для исследовательских целей. Он изучает внутреннее представление английского языка, которое можно использовать для извлечения функций, полезных для последующих…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: EleutherAI
Теги: gpt_neox, causal-lm, en, text-generation-inference, endpoints_compatible
Лайков: 579 | Загрузок: 173,871
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
