— flLlama 2 расширяет возможности моделей Llama 2 с обнимающим лицом, добавляя возможности вызова функций. — Модель отвечает структурированным аргументом json с именем функции и аргументами. Доступные модели: — fLlama-7B (биты и байты NF4), (GGML), (GPTQ) — бесплатная — flLlama-13B (биты и байты NF4), (GPTQ) — платная GPTQ (самая быстрая + хорошая точность). Начните с сохранения собственной копии этой функции, вызывающей чат-бота. Вы сможете выполнить вывод с помощью бесплатного блокнота Colab, если выберете среду выполнения графического процессора. Подробности смотрите в блокноте. Биты и байты NF4 (самый медленный вывод). Попробуйте этот блокнот fLlama_Inference. Блокнот GGML (лучше всего подходит для работы на ноутбуке, отлично подходит для Mac). Чтобы запустить его, вам потребуется установить llamaccp с сайта ggerganov на github. — Загрузите файл ggml по ссылке ggml выше, под доступными моделями. Я рекомендую запустить команду типа: которая позволит вам запустить чат-бота в вашем браузере. -ngl выгружает слои на графический процессор Mac и обеспечивает очень хорошую скорость генерации токенов. flLama-13B: — Для большей точности вызова функций. — Приобретите доступ здесь: flLlama-13b: 19,99 евро за пользователя/место. — Лицензии не подлежат передаче другим пользователям/субъектам. — Коммерческие лицензии на более крупные модели…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Trelis
Теги: llama, facebook, meta, llama-2, functions, function calling, sharded, ggml
Лайков: 4 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
