Этот репозиторий содержит файлы моделей формата GGUF для NSFW 13B sft от zxbsmk. Эти файлы были квантованы с использованием оборудования, любезно предоставленного Google Colab (Free CPU Machine). GGUF — это новый формат, представленный командой llama.cpp 21 августа 2023 года. Это замена GGML, который больше не поддерживается llama.cpp. Вот неполный список клиентов и библиотек, которые, как известно, поддерживают GGUF: llama.cpp. Исходный проект для GGUF. Предлагает CLI и опцию сервера. text-generation-webui, наиболее широко используемый веб-интерфейс со множеством функций и мощных расширений. Поддерживает ускорение графического процессора. KoboldCpp — полнофункциональный веб-интерфейс с ускорением графического процессора на всех платформах и архитектурах графического процессора. Особенно хорош для рассказывания историй. LM Studio — простой в использовании и мощный локальный графический интерфейс для Windows и macOS (Silicon) с ускорением графического процессора. LoLLMS Web UI — отличный веб-интерфейс со множеством интересных и уникальных функций, включая полную библиотеку моделей для удобного выбора модели. Faraday.dev, привлекательный и простой в использовании графический интерфейс чата на основе символов для Windows и macOS (как Silicon, так и Intel) с ускорением графического процессора. ctransformers, библиотека Python с ускорением графического процессора, поддержкой LangChain и OpenAI-совместимым искусственным интеллектом…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mzwing
Теги: gguf, baichuan, not-for-all-audiences, zh
Лайков: 102 | Загрузок: 3,275
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
