gemma-2b-openhermes — это вариант языковой модели Gemma 2B, которая была дополнительно доработана на основе набора данных предпочтений OpenHermes-2.5 с использованием QLoRA. google/gemma-2b-it mlabonne/chatml-OpenHermes2.5-dpo-binarized-alpha Модели, настроенные на основе инструкций, используют шаблон чата, которого необходимо придерживаться при разговорном использовании. Самый простой способ применить его — использовать встроенный шаблон чата токенизатора, как показано в следующем фрагменте. Давайте загрузим модель и применим шаблон чата к разговору. В этом примере мы начнем с одного взаимодействия с пользователем: После того, как приглашение будет готово, генерацию можно выполнить следующим образом: Ввод: текстовая строка, например вопрос, приглашение или документ, который нужно суммировать. Выходные данные: сгенерированный текст на английском языке в ответ на вводимые данные, например ответ на вопрос или краткое изложение документа. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 5e-07 — trainbatchsize: 1 — evalbatchsize: 8 — начальное число: 42 -gradientaccumulationsteps: 8 — totaltrainbatchsize: 8 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: cosine — lrschedulerwarmupsteps: 100 — шаги обучения: 1300 — Трансформеры 4.39.0.dev0 — Pytorch…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: abideen
Теги: gemma, generated_from_trainer, axolotl, instruct, finetune, chatml, gpt4, synthetic data
Лайков: 6 | Загрузок: 140
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
