Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke’s Patreon Эти файлы представляют собой файлы модели формата GGML для Llama 30B Instruct 2048 от Upstage. Файлы GGML предназначены для вывода CPU + GPU с использованием llama.cpp, а также библиотек и пользовательских интерфейсов, которые поддерживают этот формат, таких как: KoboldCpp, мощный веб-интерфейс GGML с полным ускорением графического процессора из коробки. Особенно хорош для рассказывания историй. LoLLMS Web UI, отличный веб-интерфейс с ускорением графического процессора через серверную часть ctransformers. LM Studio, полнофункциональный локальный графический интерфейс. Поддерживает полное ускорение графического процессора на macOS. Также поддерживает Windows без ускорения графического процессора. text-generation-webui, самый популярный веб-интерфейс. Требуются дополнительные действия для включения ускорения графического процессора через серверную часть llama.cpp. ctransformers — библиотека Python с поддержкой LangChain и сервером искусственного интеллекта, совместимым с OpenAI. * llama-cpp-python, библиотека Python с сервером API, совместимым с OpenAI. Большое спасибо Уильяму Бошампу из Чай за предоставленное оборудование для создания и загрузки этих файлов! Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода CPU+GPU * Оригинальная неквантованная модель fp16 в формате pytorch, для вывода GPU и для дальнейшего…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: TheBloke
Теги: llama, upstage, instruct, instruction, en
Лайков: 20 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
