Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа LLM компании TheBloke щедро поддерживается грантом Андреессена Горовица (a16z) — Создатель модели: OpenAssistant — Исходная модель: Llama2 13B Orca 8K 3319. Этот репозиторий содержит файлы модели формата GGUF для OpenAssistant Llama2 13B Orca 8K 3319. GGUF — это новый формат, представленный llama.cpp от 21 августа 2023 г. Это замена GGML, который больше не поддерживается llama.cpp. GGUF предлагает многочисленные преимущества перед GGML, такие как улучшенная токенизация и поддержка специальных токенов. Он также поддерживает метаданные и предназначен для расширения. Вот неполный список клиентов и библиотек, которые, как известно, поддерживают GGUF: llama.cpp. Исходный проект для GGUF. Предлагает CLI и опцию сервера. text-generation-webui, наиболее широко используемый веб-интерфейс со множеством функций и мощных расширений. Поддерживает ускорение графического процессора. KoboldCpp — полнофункциональный веб-интерфейс с ускорением графического процессора на всех платформах и архитектурах графического процессора. Особенно хорош для рассказывания историй. LM Studio — простой в использовании и мощный локальный графический интерфейс для Windows и macOS (Silicon) с ускорением графического процессора. Веб-интерфейс LoLLMS, отличный…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: gguf, llama, sft, en
Лайков: 9 | Загрузок: 1,246
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
