Файлы GGML предназначены для вывода CPU + GPU с использованием llama.cpp, а также библиотек и пользовательских интерфейсов, поддерживающих этот формат, таких как: KoboldCpp, мощный веб-интерфейс GGML с полным ускорением графического процессора из коробки. Особенно хорош для рассказывания историй. LoLLMS Web UI, отличный веб-интерфейс с ускорением графического процессора через серверную часть ctransformers. LM Studio, полнофункциональный локальный графический интерфейс. Поддерживает полное ускорение графического процессора на macOS. Также поддерживает Windows без ускорения графического процессора. text-generation-webui, самый популярный веб-интерфейс. Требуются дополнительные действия для включения ускорения графического процессора через серверную часть llama.cpp. ctransformers — библиотека Python с поддержкой LangChain и сервером искусственного интеллекта, совместимым с OpenAI. * llama-cpp-python, библиотека Python с сервером API, совместимым с OpenAI. Они гарантированно совместимы со всеми пользовательскими интерфейсами, инструментами и библиотеками, выпущенными с конца мая. Вскоре от них могут отказаться, поскольку их в значительной степени вытеснят новые методы k-квантов. Эти новые методы квантования совместимы с llama.cpp по состоянию на 6 июня, коммит 2d43387. Теперь они также совместимы с последними выпусками text-generation-webui, KoboldCpp, llama-cpp-python, ctransformers,rustformers и большинством других. Для совместимости с другими инструментами и библиотеками проверьте их…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: asyafiqe
Теги: llama, facebook, meta, llama-2, id, en
Лайков: 6 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
