Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon Эти файлы представляют собой файлы модели формата GGML для OpenOrca-Preview1-13B от Open-Orca. Файлы GGML предназначены для вывода CPU + GPU с использованием llama.cpp, а также библиотек и пользовательских интерфейсов, поддерживающих этот формат, таких как: KoboldCpp, мощный веб-интерфейс GGML с полным ускорением графического процессора из коробки. Особенно хорош для рассказывания историй. LoLLMS Web UI, отличный веб-интерфейс с ускорением графического процессора через серверную часть ctransformers. LM Studio, полнофункциональный локальный графический интерфейс. Поддерживает полное ускорение графического процессора на macOS. Также поддерживает Windows без ускорения графического процессора. text-generation-webui, самый популярный веб-интерфейс. Требуются дополнительные действия для включения ускорения графического процессора через серверную часть llama.cpp. ctransformers — библиотека Python с поддержкой LangChain и сервером искусственного интеллекта, совместимым с OpenAI. * llama-cpp-python, библиотека Python с сервером API, совместимым с OpenAI. Эти файлы были квантованы с использованием оборудования, любезно предоставленного Latitude.sh. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода CPU+GPU * Неквантованная модель fp16 Open-Orca в формате pytorch для вывода GPU и дальнейших преобразований. Они гарантированно…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: en
Лайков: 15 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
