Чат Ожидается, что сторонние клиенты и библиотеки будут поддерживать его еще некоторое время, но многие из них также могут прекратить поддержку. Файлы GGML предназначены для инференса на ЦП и ГП с использованием llama.cpp, а также библиотек и пользовательских интерфейсов, поддерживающих этот формат, например: text-generation-webui — самый популярный веб-интерфейс. Поддерживает ускорение с помощью графического процессора NVidia CUDA. KoboldCpp — мощный веб-интерфейс GGML с ускорением на базе графического процессора на всех платформах (CUDA и OpenCL). Особенно хорошо подходит для создания историй. LM Studio — полнофункциональный локальный графический интерфейс с ускорением с помощью графического процессора как в Windows (NVidia и AMD), так и в macOS. LoLLMS Web UI — отличный веб-интерфейс с ускорением на базе графического процессора CUDA через бэкэнд ctransformers. ctransformers — библиотека Python с ускорением на базе графического процессора, поддержкой LangChain и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: llama, llama-2, en
Лайков: 2 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
