Чат Это замена GGML, который больше не поддерживается llama.cpp. Вот неполный список клиентов и библиотек, которые, как известно, поддерживают GGUF: llama.cpp. Исходный проект для GGUF. Предлагает интерфейс командной строки и сервер. text-generation-webui, наиболее широко используемый веб-интерфейс, со многими функциями и мощными расширениями. Поддерживает ускорение GPU. KoboldCpp, полнофункциональный веб-интерфейс, с ускорением GPU на всех платформах и архитектурах GPU. Especially good for story telling. GPT4All, a free and open source local running GUI, supporting Windows, Linux and macOS with full GPU accel. LM Studio, an easy-to-use and powerful local GUI for Windows and macOS (Silicon), with GPU acceleration. Linux available, in…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: gguf, yi, en
Лайков: 3 | Загрузок: 984
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
