GPT-Neo 125M — это модель-трансформер, разработанная с использованием репликации архитектуры GPT-3 от EleutherAI. GPT-Neo относится к классу моделей, а 125M представляет собой количество параметров этой конкретной предварительно обученной модели. GPT-Neo 125M был обучен на Pile — крупномасштабном наборе данных, созданном EleutherAI с целью обучения этой модели. Эта модель была обучена на Pile на 300 миллиардах токенов за 572 300 шагов. Он был обучен как замаскированная авторегрессионная языковая модель с использованием перекрестной энтропийной потери. Таким образом, модель изучает внутреннее представление английского языка, которое затем можно использовать для извлечения функций, полезных для последующих задач. Однако модель лучше всего подходит для того, для чего она была предварительно обучена, а именно для генерации текстов из подсказки. Вы можете использовать эту модель напрямую с конвейером для генерации текста. Этот пример генерирует другую последовательность при каждом запуске: GPT-Neo обучался как модель авторегрессионного языка. Это означает, что его основная функция — брать строку текста и прогнозировать следующий токен. Хотя языковые модели широко используются и для других задач, в этой работе есть много неизвестного. GPT-Neo прошел обучение на Pile,…
Модальности:
Генерация текста
Языки программирования:
Rust
Задача: Генерация текста
Автор: EleutherAI
Теги: jax, rust, gpt_neo, text generation, causal-lm, en, endpoints_compatible
Лайков: 227 | Загрузок: 189,803
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
