Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon Эти файлы представляют собой файлы моделей формата GGML для Upstage’s Llama 65B Instruct. Файлы GGML предназначены для вывода CPU + GPU с использованием llama.cpp, а также библиотек и пользовательских интерфейсов, поддерживающих этот формат, таких как: KoboldCpp, мощный веб-интерфейс GGML с полным ускорением графического процессора из коробки. Особенно хорош для рассказывания историй. LoLLMS Web UI, отличный веб-интерфейс с ускорением графического процессора через серверную часть ctransformers. LM Studio, полнофункциональный локальный графический интерфейс. Поддерживает полное ускорение графического процессора на macOS. Также поддерживает Windows без ускорения графического процессора. text-generation-webui, самый популярный веб-интерфейс. Требуются дополнительные действия для включения ускорения графического процессора через серверную часть llama.cpp. ctransformers — библиотека Python с поддержкой LangChain и сервером искусственного интеллекта, совместимым с OpenAI. * llama-cpp-python, библиотека Python с сервером API, совместимым с OpenAI. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода CPU+GPU * Исходная неквантованная модель fp16 в формате pytorch, для вывода GPU и дальнейших преобразований. Они гарантированно совместимы с любыми пользовательскими интерфейсами, инструментами и библиотеками, выпущенными с конца мая. Они могут…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: TheBloke
Теги: llama, upstage, instruct, instruction, en
Лайков: 5 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
