Эта модель представляет собой доработанную версию google/gemma-2-27b-it для задачи вызова функций на несинтетических данных, полностью аннотированную только людьми, в английской версии набора данных DiTy/вызова функций. Помимо защитных тензоров, модель доступна в форматах GGUF (в этом случае вам нужно скачать только один файл (как вывести модель GGUF)): Как подготовить ваши функции (инструменты) для вызова функций Просто используйте шаблон чата для генерации Структура подсказок и ожидаемый контент Оценка моделей вызова функций Ниже мы поделимся некоторыми фрагментами кода о том, как быстро начать работу с моделью. Сначала установите библиотеку Transformers с помощью: Вам следует написать функции (инструменты), используемые моделью, в коде Python и обязательно добавить строки документации Python, как показано в примере ниже: Чтобы получить результат генерации, просто используйте applychattemplate. Чтобы учесть наши написанные функции (инструменты), нам нужно передать их списком через атрибут инструментов, а также использовать addpromptgeneration=True. Теперь мы можем сгенерировать ответ модели. Будьте осторожны, поскольку после применения шаблона чата нет необходимости добавлять специальные токены во время токенизации. Итак, используйте addspecialtokens=False:…
Модальности:
Генерация текста
Области применения:
Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: DiTy
Теги: gguf, gemma2, conversational, function-calling, trl, en, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 79
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
