— Просто и понятно: МИНИМАЛЬНЫЕ изменения кода и архитектуры. Введен только один слой проекции вверх и вниз, НЕ требуется кэширования рекуррентной памяти или особого внимания. — Короткая тренировка, длинный тест: НЕТ падения производительности в последовательностях, которые в 4–8 раз длиннее, чем в тренировочных (см. здесь). — Непрерывная экстраполяция длины: явное моделирование непрерывной динамики размера контекстного окна во время экстраполяции длины. Если у вас есть какие-либо вопросы, не стесняйтесь обращаться к нам. (Электронная почта: guanzzh.chen@gmail.com, lixin4ever@gmail.com) CLEX-Phi-2-2.7B и CLEX-Mixtral-8x7B обучены на LongCorpus-2.5B, где результаты оценки тестового набора приведены ниже. Если наш проект окажется для вас полезным, надеемся, что вы сможете отметить наш репозиторий и процитировать нашу статью следующим образом:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: DAMO-NLP-SG
Теги: phi, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 41
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
