Llama-2-7B-32K-Instruct — это модель длинноконтекстного чата с открытым исходным кодом, доработанная на основе Llama-2-7B-32K с использованием высококачественных инструкций и данных чата. Мы создали Llama-2-7B-32K-Instruct из менее чем 200 строк скрипта Python с использованием API Together, а также сделали рецепт полностью доступным. Мы надеемся, что это позволит каждому настроить свою собственную версию Llama-2-7B-32K — поиграйте с API Together и оставьте нам отзыв! Llama-2-7B-32K-Instruct настроен на комбинацию двух частей: 1. 19 тысяч одно- и многораундовых разговоров, генерируемых человеческими инструкциями и выводами Llama-2-70B-Chat. Мы собрали набор данных, следуя парадигме дистилляции, которую используют Alpaca, Vicuna, WizardLM, Orca — создавая инструкции путем запроса мощного LLM (в данном случае Llama-2-70B-Chat). Полный набор данных также опубликован здесь. Здесь мы также поделимся полным рецептом процесса сбора данных. 2. Долгосрочное обобщение и долгосрочное обеспечение качества. Мы следуем рецепту Llama-2-7B-32K и обучаем нашу модель с помощью набора данных BookSum и системы ответов на вопросы по нескольким документам. Окончательная смесь данных, используемая для точной настройки модели, выглядит следующим образом: инструкция 19K (50%) + BookSum (25%) + MQA (25%). Мы призываем вас…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: togethercomputer
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 160 | Загрузок: 1,997
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
