Это версия DPO wenbopan/Faro-Yi-9B. По сравнению с Faro-Yi-9B и Yi-9B-200K модель DPO превосходно справляется со многими задачами, с большим отрывом превосходя исходный Yi-9B-200K. В таблице лидеров Open LLM он занимает 2-е место среди всех моделей 9B и 1-е место среди всех вариантов Yi-9B. Ответы Faro-Yi-9B-DPO также нравятся судье GPT-4 в MT-Bench. Faro-Yi-9B-DPO использует шаблон Chatml и хорошо работает как в коротком, так и в длинном контексте. Для более длинных входных данных с объемом видеопамяти менее 24 ГБ я рекомендую использовать vLLM, чтобы получить максимальное приглашение 32 КБ. Установка kvcachedtype=»fp8e5m2″ позволяет использовать длину ввода 48 КБ. Кроме того, 4-битное квантование AWQ может увеличить длину входного сигнала до 160 КБ, хотя и с некоторым влиянием на производительность. Отрегулируйте аргумент maxmodellen в vLLM или config.json, чтобы избежать OOM.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: wenbopan
Теги: llama, conversational, en, zh, text-generation-inference, endpoints_compatible
Лайков: 29 | Загрузок: 8,164
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
