Чат Это замена GGML, который больше не поддерживается llama.cpp. Вот неполный список клиентов и библиотек, которые, как известно, поддерживают GGUF: llama.cpp. Исходный проект для GGUF. Предлагает интерфейс командной строки и сервер. text-generation-webui, наиболее широко используемый веб-интерфейс, со многими функциями и мощными расширениями. Поддерживает ускорение GPU. KoboldCpp, полнофункциональный веб-интерфейс, с ускорением GPU на всех платформах и архитектурах GPU. Особенно хорошо для рассказывания историй. LM Studio, простой в использовании и мощный локальный графический интерфейс для Windows и macOS (Silicon) с ускорением графического процессора. LoLLMS Web UI, отличный веб-интерфейс с множеством интересных и уникальных функций, включая полную библиотеку моделей для легкого выбора модели. Faraday.dev, привлекательный и простой в использовании персонаж на основе…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: gguf, llama, facebook, meta, llama-2, german, deutsch, de
Лайков: 3 | Загрузок: 273
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
