Чат GGUF — это новый формат, представленный командой llama.cpp 21 августа 2023 года. Он заменяет собой формат GGML, который больше не поддерживается llama.cpp. Ниже представлен неполный список клиентов и библиотек, которые, как известно, поддерживают GGUF: llama.cpp. Исходный проект для GGUF. Предоставляет интерфейс командной строки и возможность использования сервера. text-generation-webui — самый популярный веб-интерфейс со множеством функций и мощными расширениями. Поддерживает ускорение с помощью графического процессора. KoboldCpp — полнофункциональный веб-интерфейс с ускорением за счет графического процессора на всех платформах и архитектурах графических процессоров. Особенно хорошо подходит для повествования. GPT4All — бесплатный локальный графический интерфейс с открытым исходным кодом, поддерживающий Windows, Linux и macOS с полным ускорением с помощью графического процессора. LM Studio — простой в использовании и мощный локальный графический интерфейс для Windows и macOS (Silicon) с ускорением на базе графического процессора. Linux…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: gguf, yi, conversational
Лайков: 2 | Загрузок: 482
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.