Выпущена версия LLama 2 с вызовом функций (версия 2), которая доступна здесь. — flLlama 2 расширяет возможности моделей Llama 2 с обнимающим лицом, добавляя возможности вызова функций. — Модель отвечает структурированным аргументом json с именем функции и аргументами. Доступные модели: — flLlama-7B (биты и байты NF4) — бесплатная — flLlama-7B-chat (биты и байты NF4), (GGML), (GPTQ), (GPTQ-обученный) — бесплатная — flLlama-13B-chat (биты и байты NF4), (GPTQ) — платная, обученная GPTQ (быстро + лучшая точность) — это репо. Все остальные модели взяты из обучения bitsandbytes NF4. Эта модель специально обучена с использованием методов GPTQ. В настоящее время его сложнее запустить, поскольку это модель адаптера. Попробуйте: GPTQ (быстро + хорошая точность). Начните с сохранения собственной копии этой функции, вызывающей чат-бота. Вы сможете выполнить вывод с помощью бесплатного блокнота Colab, если выберете среду выполнения графического процессора. Подробности смотрите в блокноте. Биты и байты NF4 (самый медленный вывод). Попробуйте этот блокнот fLlama_Inference. Блокнот GGML (лучше всего подходит для работы на ноутбуке, отлично подходит для Mac). Чтобы запустить его, вам потребуется установить llamaccp с сайта ggerganov на github. — Загрузите файл ggml по ссылке ggml выше в разделе «Доступные модели». Рекомендую запустить…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Trelis
Теги: llama, facebook, meta, llama-2, functions, function calling, sharded, ggml
Лайков: 48 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
