Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon Эти файлы представляют собой файлы моделей в формате GGML для 13B Ouroboros от CalderaAI. Файлы GGML предназначены для вывода CPU + GPU с использованием llama.cpp, а также библиотек и пользовательских интерфейсов, поддерживающих этот формат, таких как: KoboldCpp, мощный веб-интерфейс GGML с полным ускорением графического процессора из коробки. Особенно хорош для рассказывания историй. LoLLMS Web UI, отличный веб-интерфейс с графическим ускорением через серверную часть ctransformers. LM Studio, полнофункциональный локальный графический интерфейс. Поддерживает полное ускорение графического процессора на macOS. Также поддерживает Windows без ускорения графического процессора. text-generation-webui, самый популярный веб-интерфейс. Требуются дополнительные действия для включения ускорения графического процессора через серверную часть llama.cpp. ctransformers — библиотека Python с поддержкой LangChain и сервером искусственного интеллекта, совместимым с OpenAI. * llama-cpp-python, библиотека Python с сервером API, совместимым с OpenAI. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода CPU+GPU * Исходная неквантованная модель fp16 в формате pytorch, для вывода GPU и дальнейших преобразований. Они гарантированно совместимы с любыми пользовательскими интерфейсами, инструментами и библиотеками, выпущенными с конца мая. Они могут быть…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: TheBloke
Теги: llama, alpaca, vicuna, uncensored, merge, mix, airoboros, openorca
Лайков: 4 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
