Pythia-2.8B Deduped 4K — это модель Pythia-2.8B Deduped с длиной контекста 4096. Обучение возобновилось с контрольно-пропускного пункта на 143 000 шагов и продолжилось на дедуплицированной куче v1 (порог=0,87). Эта конкретная модель взята из контрольной точки, захваченной на шаге 175 500, за дополнительные 134 217 728 000 токенов обучения. Эта работа была бы невозможна без поддержки Stability AI.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: CarperAI
Теги: gpt_neox, en, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
