Это версия nvidia/Llama-3.1-Minitron-4B-Width-Base с настроенными инструкциями, которая прошла контролируемую точную настройку с использованием 64 тысяч пар инструкций-ответ из набора данных teknium/OpenHermes-2.5 на одном графическом процессоре A100 40 ГБ. Учитывая характер обучающих данных, модель чата Llama-3.1-Minitron-4B лучше всего подходит для подсказок с использованием следующего формата чата. Вы можете предоставить подсказку в виде вопроса с использованием общего шаблона следующим образом: Поддержка этой модели будет добавлена в следующем выпуске Transformers. А пока установите библиотеку из исходного кода: в этих фрагментах кода показано, как быстро приступить к запуску модели на графическом процессоре:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rasyosef
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
