Чат Ниже представлен неполный список клиентов и библиотек, которые, как известно, поддерживают GGUF: llama.cpp. Исходный проект для GGUF. Предоставляет интерфейс командной строки и возможность использования сервера. text-generation-webui — самый популярный веб-интерфейс с множеством функций и мощными расширениями. Поддерживает ускорение с помощью графического процессора. KoboldCpp — полнофункциональный веб-интерфейс с ускорением с помощью графического процессора на всех платформах и архитектурах графических процессоров. Особенно хорошо подходит для создания историй. LM Studio — простой в использовании и мощный локальный графический интерфейс для Windows и macOS (Silicon) с ускорением на базе графического процессора. LoLLMS Web UI — отличный веб-интерфейс со множеством интересных и уникальных функций, включая полную библиотеку моделей для удобного выбора. Faraday.dev — привлекательный и простой в использовании графический интерфейс чата на основе персонажей для Windows и macOS (как с процессорами Silicon, так и с процессорами Intel) с ускорением на базе графического процессора. …
Модальности:
Генерация текста
Области применения:
Генерация кода Математика
Задача: Генерация текста
Автор: TheBloke
Теги: gguf, llama, code, math, en
Лайков: 2 | Загрузок: 172
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.