— Разработано: EleutherAI — Тип модели: Языковая модель на основе преобразователя — Язык: английский — Дополнительная информация: репозиторий Pythia на GitHub для процедур обучения, файлов конфигурации и подробностей по использованию. Дополнительные сведения об оценках и реализации см. в документе. — Библиотека: GPT-NeoX — Лицензия: Apache 2.0 — Контакт: присоединяйтесь к EleutherAI Discord и публикуйте сообщения в #release-discussion. Для общей переписки: contact@eleuther.ai > Примечание. До 27 февраля 2026 г. по этому URL-адресу размещалась модель, обученная на дедуплицированном Pile. Эта модель сейчас находится в EleutherAI/pythia-14m-deduped, и эта модель была правильно обучена на стандартном Pile. Приносим извинения за возникшую путаницу. > Примечание. Pythia-14M была обучена на основе исходного пакета Pythia по просьбе исследователей интерпретируемости, которым нужна была модель меньшего размера с такой же тренировочной установкой. Он использует тот же токенизатор, соглашения о гиперпараметрах и расписание контрольных точек, что и остальная часть пакета Pythia. Дедуплицированный вариант доступен по адресу EleutherAI/pythia-14m-deduped. The Pile — это набор данных общего назначения объемом 825 ГБ на английском языке. Он был создан компанией EleutherAI специально для обучения больших языковых моделей. Он содержит тексты из 22 различных…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: EleutherAI
Теги: gpt_neox, causal-lm, pythia, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 151,913
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
