Документация Бумага Оценочные данные Веса модели InstructRetro (Wang et al., 2023b) увеличивает размер Retro до 48B, показывая самый большой LLM, предварительно обученный с помощью извлечения (по состоянию на декабрь 2023 г.). Полученная модель фундамента Retro 48B во многом превосходит GPT-аналог по степени запутанности. Благодаря настройке инструкций Retro InstructRetro демонстрирует значительное улучшение по сравнению с GPT, настроенным на инструкции, для последующих задач в настройке нулевого выстрела. В частности, среднее улучшение InstructRetro составляет 7 % по сравнению с его аналогом GPT при выполнении 8 коротких задач контроля качества и на 10 % по сравнению с GPT при выполнении 4 сложных длинных задач контроля качества. Мы также обнаружили, что можно удалить кодировщик из архитектуры InstructRetro и напрямую использовать магистраль декодера InstructRetro в качестве GPT, достигая при этом сопоставимых результатов. Retro (Borgeud et al., 2022) — это авторегрессионная языковая модель только для декодера (LM), предварительно обученная с помощью поискового расширения. Retro обладает практической масштабируемостью для поддержки крупномасштабного предварительного обучения с нуля путем извлечения триллионов токенов. Предварительное обучение с поиском обеспечивает более эффективный механизм хранения фактических знаний по сравнению с хранением…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: nvidia
Теги: Megatron-LM, nvidia, Retro, InstructRetro, 8B, en
Лайков: 15 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
