Invoker — это набор больших языковых моделей, основанный на Llama-2, который настроен для планирования между вызовом функций и непосредственным предоставлением ответов. Он ведет себя аналогично моделям вызова функций OpenAI, которые разумно выбирают лучшую функцию для вызова из списка предоставленных ему функций и суммируют ответы функций. Эта модель выделяется своей способностью планировать между вызовами функций и непосредственным возвратом ответов модели. Процесс тонкой настройки выполнялся с длиной последовательности 4096 на машине с двумя процессорами A100 емкостью 80 ГБ. Для получения более подробной информации обратитесь к https://github.com/jeffrey-fong/Invoker. Приглашение к модели состоит из списка доступных функций для вызова и сообщений чата. Вы должны предоставить модели список функций. Все передаваемые функции должны быть в том же формате JSON, что и вызов функций OpenAI. Если в модель не требуется передавать никакие функции, укажите «Нет» в поле «Доступные функции». Чтобы выполнить вывод модели с полной точностью float16, вам понадобится примерно 1xA100 40 ГБ или эквивалент. Модель была обучена с использованием QLora, что значительно снижает необходимые вычислительные ресурсы. Обучение также было ускорено с помощью DeepSpeed Zero…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jeffrey-fong
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
