Pythia-6.9B Deduped 4K — это модель Pythia-6.9B Deduped, настроенная на длину контекста 4096. Тренировки возобновились с контрольной точки в 143 000 шагов и продолжились на The Pile v1 Deduped (порог = 0,87). Эта конкретная модель взята из контрольной точки, захваченной на шаге 175 500, за дополнительные 134 217 728 000 жетонов обучения. Эта работа была бы невозможна без поддержки Stability AI.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: CarperAI
Теги: gpt_neox, en, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
