Чат Ожидается, что сторонние клиенты и библиотеки еще некоторое время будут поддерживать его, но многие из них также могут прекратить поддержку. Теперь для файлов Llama 2 70B GGML доступно аппаратное ускорение с помощью графического процессора как с CUDA (NVidia), так и с Metal (macOS). Известно, что следующие клиенты/библиотеки работают с этими файлами, в том числе с ускорением с помощью графического процессора: llama.cpp, коммит e76d630 и более поздние версии. text-generation-webui, самый популярный веб-интерфейс. KoboldCpp, версия 1.37 и более поздние. Мощный веб-интерфейс GGML, особенно подходящий для повествования. LM Studio — полнофункциональный локальный графический интерфейс с ускорением на базе графического процессора для Windows и macOS. Используйте версию 0.1.11 или более позднюю для ускорения работы графического процессора macOS с моделями 70B. llama-cpp-python, версия 0.1.77 и более поздние. Библиотека Python с поддержкой LangChain и API, совместимым с OpenAI…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, en
Лайков: 2 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
