openhermes-gemma-2b-it — это вариант языковой модели Gemma 2B, которая была дополнительно доработана на основе набора данных предпочтений OpenHermes-2.5 с использованием QLoRA. Этот процесс тонкой настройки расширяет возможности модели понимать и генерировать ответы, соответствующие предпочтениям пользователя в диалоговых настройках. google/gemma-2b-it mlabonne/chatml-OpenHermes2.5-dpo-binarized-alpha Модели, настроенные на основе инструкций, используют шаблон чата, которого необходимо придерживаться при разговорном использовании. Самый простой способ применить его — использовать встроенный шаблон чата токенизатора, как показано в следующем фрагменте. Давайте загрузим модель и применим шаблон чата к разговору. В этом примере мы начнем с одного взаимодействия с пользователем: После того, как приглашение будет готово, генерацию можно выполнить следующим образом: Ввод: текстовая строка, например вопрос, приглашение или документ, который нужно суммировать. Выходные данные: сгенерированный текст на английском языке в ответ на вводимые данные, например ответ на вопрос или краткое изложение документа. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 5e-07 — размер пакета поезда: 1 — размер пакета оценки: 8 — начальное значение: 42 — шаги градиентного накопления: 8 — общий размер пакета поезда: 8 — оптимизатор: Адам…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: Syed-Hasan-8503
Теги: gemma, generated_from_trainer, axolotl, instruct, finetune, chatml, gpt4, synthetic data
Лайков: 4 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
