— Разработано: EleutherAI — Тип модели: Языковая модель на основе преобразователя — Язык: английский — Дополнительная информация: репозиторий Pythia на GitHub для процедур обучения, файлов конфигурации и подробностей по использованию. Дополнительные сведения об оценках и реализации см. в документе. — Библиотека: GPT-NeoX — Лицензия: Apache 2.0 — Контакт: присоединяйтесь к EleutherAI Discord и публикуйте сообщения в #release-discussion. Для общей переписки: contact@eleuther.ai > Примечание. Pythia-14M-deduped была обучена на основе исходного пакета Pythia по запросу исследователей интерпретируемости, которым нужна была модель меньшего размера с той же системой обучения. Он использует те же данные, токенизатор, соглашения о гиперпараметрах и расписание контрольных точек, что и остальная часть пакета Pythia. В отличие от исходных моделей Pythia (70M—12B), дедуплицированная Pythia-14M обучалась только на дедуплицированной куче и не имеет отдельного недуплицированного варианта. The Pile — это набор данных общего назначения объемом 825 ГБ на английском языке. Он был создан компанией EleutherAI специально для обучения больших языковых моделей. Он содержит тексты из 22 различных источников, грубо разбитых на пять категорий: — Академические статьи (например, arXiv) — Интернет (например, CommonCrawl) — Проза (например, Project Gutenberg) — Диалоги…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: EleutherAI
Теги: gpt_neox, causal-lm, pythia, en, text-generation-inference, endpoints_compatible
Лайков: 29 | Загрузок: 22,185
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
