Языковая модель с 198 миллионами параметров. Создана с нуля на одном графическом процессоре T4 — без предварительной подготовки базы и тонкой настройки. Новые адаптивные вычисления с самоконтролем, управляемые затруднениями, с помощью смеси рекурсий (MoR). Стандартное маскирование -inf вызывает NaN во время обучения смешанной точности fp16. MoR использует маскирование -1e4 + предварительное ограничение softmax — полностью стабильно: оценено на 500 свежих тестовых образцах HH-RLHF (никогда не наблюдавшихся во время обучения). GPT-2 Medium оценивался на идентичных образцах для справедливого сравнения: > Честное примечание: MoR имеет более высокий показатель PPL на свежем тестовом наборе, чем GPT-2 Medium. > Значение PPL 15,37 было измерено на данных внутрираспределения — модель демонстрирует признаки переподгонки к обучающему распределению. Архитектура новая, и механизм маршрутизации работает правильно, но для лучшего обобщения модели требуются более разнообразные обучающие данные и более длительное обучение. > > Значение PPL (15,37) не следует напрямую сравнивать со стандартным > эталонным значением PPL GPT-2 Medium — они измеряются на разных наборах данных. — Контекстное окно: максимум 512 токенов. — Только английский язык: не подходит для других языков. — Небольшой обучающий набор: 150 тыс. образцов — коммерческие модели используют 100B+. — Обобщение: показывает переоснащение для распределения обучения -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Girinath11
Теги: recursive_language_model, transformer, recursive-language-model, mixture-of-recursion, adaptive-computation, perplexity-routing, self-supervised-perplexity-guided-adaptive-compute, custom_code
Лайков: 12 | Загрузок: 1,706
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
