Pythia Scaling Suite — это набор моделей, разработанных для облегчения исследования интерпретируемости. Он содержит два набора по восемь моделей размеров 70M, 160M, 410M, 1B, 1,4B, 2,8B, 6,9B и 12B. Для каждого размера существует две модели: одна обучена в куче, а другая обучена в куче после глобальной дедупликации набора данных. Все 8 размеров модели обучаются на одних и тех же данных и в одном и том же порядке. Все модели Pythia доступны на Hugging Face. Набор моделей Pythia был специально разработан для содействия научным исследованиям больших языковых моделей, особенно исследований интерпретируемости. Несмотря на то, что производительность нисходящего потока не является целью разработки, мы обнаружили, что эти модели соответствуют или превосходят производительность аналогичных моделей того же размера, например, в пакетах OPT и GPT-Neo. Обратите внимание, что все модели пакета Pythia были переименованы в январе 2023 года. Для ясности в этой карточке модели представлена таблица, сравнивающая старые и новые названия, а также точное количество параметров. — Разработано: EleutherAI — Тип модели: Языковая модель на основе трансформатора — Язык: английский — Дополнительная информация: репозиторий Pythia на GitHub для процедур обучения, файлов конфигурации и подробностей о том, как…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: EleutherAI
Теги: gpt_neox, causal-lm, pythia, pythia_v0, en, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 2,065
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
