Эта модель представляет собой доработанную версию google/gemma-2-9b-it для задачи вызова функций на несинтетических данных, полностью аннотированную только людьми, в русской версии набора данных DiTy/function-calling. Помимо защитных тензоров, модель доступна в форматах GGUF (в этом случае вам нужно загрузить только один файл (как сделать вывод о модели GGUF)): Сначала установите компонент Transformers с помощью: Вы должны написать функции (инструменты), использовать модель, в коде Python и обязательно добавить строки документации Python, как в приведенной ниже таблице: Чтобы получить результат генерации, просто используйте applychattemplate. Чтобы рассмотреть наши написанные функции (инструменты), нам нужно передать их в виде списка через инструменты атрибутов, а также использовать addpromptgeneration=True. Теперь мы можем сгенерировать ответные модели. Будьте осторожны, потому что после применения шаблона чата нет необходимости добавлять специальные токены…
Модальности:
Генерация текста
Области применения:
Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: DiTy
Теги: gguf, gemma2, conversational, function-calling, trl, ru, text-generation-inference, endpoints_compatible
Лайков: 30 | Загрузок: 1,347
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
