Исходный код (Контекстно-зависимые смещения для экстраполяции длины) — [ ] Очистка кодовой базы — [ ] Добавление скриптов для обучения ALiBi, RoPE, T5-bias — Fineweb-Edu 🔗 🤗 — Fineweb 🔗 🤗 — WikiText-103 🔗 🤗 — WikiText-2 🔗 🤗 Для теста Hellaswag и оценку экстраполяции, пожалуйста, используйте блокнот. Модель кабеля, обученная на T=1024, может экстраполировать на T=8192, достигая лучшей производительности (PPL=22,22) по сравнению с синусоидальной моделью (PPL=22,81), обученной на T=8192. Кабель значительно улучшает способность модели к экстраполяции при незначительной нагрузке по времени и памяти по сравнению с ванильным трансформатором. Кроме того, по сравнению с существующими методами RPE, наш подход обеспечивает почти идентичное время обучения и использование памяти графического процессора, в то время как затраты на вывод остаются либо незначительными, либо сопоставимыми, в зависимости от длины последовательности. Если вы используете этот репозиторий для своих исследований или хотите обратиться к нашему методу позиционного кодирования, используйте следующую запись BibTeX: Этот репозиторий основан на Karpathy/Build-NanoGPT. Спасибо за их отличную работу.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: axiomlaborg
Теги: length-extrapolation, context-aware, positional-encoding, Cable, en, endpoints_compatible
Лайков: 5 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
