Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа LLM TheBloke щедро поддерживается грантом Андреессена Горовица (a16z). Этот репозиторий содержит файлы моделей формата GGUF для qCammel 13 от augtoma. GGUF — это новый формат, представленный командой llama.cpp 21 августа 2023 года. Это замена GGML, который больше не поддерживается llama.cpp. GGUF предлагает многочисленные преимущества перед GGML, такие как улучшенная токенизация и поддержка специальных токенов. Он также поддерживает метаданные и предназначен для расширения. Вот неполный список клиентов и библиотек, которые, как известно, поддерживают GGUF: llama.cpp. Исходный проект для GGUF. Предлагает CLI и опцию сервера. text-generation-webui, наиболее широко используемый веб-интерфейс со множеством функций и мощных расширений. Поддерживает ускорение графического процессора. KoboldCpp — полнофункциональный веб-интерфейс с ускорением графического процессора на всех платформах и архитектурах графического процессора. Особенно хорош для рассказывания историй. LM Studio — простой в использовании и мощный локальный графический интерфейс для Windows и macOS (Silicon) с ускорением графического процессора. LoLLMS Web UI — отличный веб-интерфейс со множеством интересных и уникальных функций, включая полную библиотеку моделей для простого…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: gguf, llama, llama-2, qCammel-13, en
Лайков: 4 | Загрузок: 422
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
