Эта модель идеально настроена для вызова функций. — Формат метаданных функции такой же, как и в OpenAI. — Модель подходит для коммерческого использования. — Версия GGUF находится в ветке gguf. — Версия AWQ находится в ветке awq. — GPTQ пока недоступен. Шаблоны Runpod в один клик: необходимо добавить токен доступа HuggingFace Hub (HUGGINGFACEHUBTOKEN) к переменным среды, поскольку это закрытая модель. * — AWQ, 4 бита (рекомендуется). — eetq, 8бит. Возникли проблемы с загрузкой, и вам придется перезапустить модуль несколько раз, чтобы полностью загрузить веса. Полные сценарии вывода можно приобрести здесь: — Легко форматируйте подсказки с помощью tokenizer.applychatformat (начиная с функций в формате openai и списка сообщений). — Автоматизируйте перехват, обработку и объединение вызовов функций. Для более простого применения подсказки вы можете настроить следующим образом: Эту модель можно использовать в коммерческих целях для вывода или для дальнейшей точной настройки и вывода. Пользователи не имеют права переиздавать или перепродавать эту модель в той же или производной форме (включая доработки). Модель большого языка Mixtral-8x7B (LLM) представляет собой предварительно обученную генеративную разреженную смесь экспертов. Микстрал-8х7Б…
Модальности:
Генерация текста
Области применения:
Диалог / чат Вызов функций (Tool use) Следование инструкциям
Задача: Генерация текста
Автор: Trelis
Теги: mixtral, function calling, function-calling, conversational, fr, it, de, es
Лайков: 32 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
