Doge использует wsdscheduler в качестве планировщика обучения, который делит скорость обучения на три этапа: разминка, стабильность и затухание. Это позволяет нам продолжить обучение на любом новом наборе данных с любой контрольной точки на стабильной стадии без всплесков обучения. Вот начальные скорости обучения, необходимые для продолжения обучения на каждой контрольной точке: — Doge-20M: 8e-3 — Doge-60M: 6e-3 — Doge-160M: 4e-3 — Doge-320M: 2e-3
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: SmallDoge
Теги: doge, conversational, en, endpoints_compatible
Лайков: 6 | Загрузок: 289
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
