GPT-Neo 1.3B — это модель-трансформер, разработанная с использованием репликации архитектуры GPT-3 от EleutherAI. GPT-Neo относится к классу моделей, а 1.3B представляет собой количество параметров этой конкретной предварительно обученной модели. GPT-Neo 1.3B был обучен на Pile — крупномасштабном наборе данных, созданном EleutherAI с целью обучения этой модели. Эта модель была обучена на Pile на 380 миллиардах токенов за 362 000 шагов. Он был обучен как замаскированная авторегрессионная языковая модель с использованием перекрестной энтропийной потери. Таким образом, модель изучает внутреннее представление английского языка, которое затем можно использовать для извлечения функций, полезных для последующих задач. Однако модель лучше всего подходит для того, для чего она была предварительно обучена, а именно для генерации текстов из подсказки. Вы можете использовать эту модель напрямую с конвейером для генерации текста. Этот пример генерирует другую последовательность при каждом запуске: GPT-Neo обучался как модель авторегрессионного языка. Это означает, что его основная функция — брать строку текста и прогнозировать следующий токен. Хотя языковые модели широко используются и для других задач, в этой работе есть много неизвестного. GPT-Neo прошел обучение на Pile,…
Модальности:
Генерация текста
Языки программирования:
Rust
Задача: Генерация текста
Автор: EleutherAI
Теги: jax, rust, gpt_neo, text generation, causal-lm, en, endpoints_compatible
Лайков: 324 | Загрузок: 46,835
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
