Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: Fredithefish — Исходная модель: Guanaco 3B Uncensored v2. Этот репозиторий содержит файлы моделей формата GPT-NeoX GGML для Guanaco 3B Uncensored v2 от Fredithefish. Обратите внимание, что эти GGML несовместимы с llama.cpp, text-generation-webui или llama-cpp-python. Ниже приведен список инструментов, которые работают с этой моделью GGML. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода CPU+GPU (устарело) * Исходная неквантованная модель fp16 от Fredithefish в формате pytorch, для вывода GPU и дальнейших преобразований. Эти файлы несовместимы с llama.cpp, text-generation-webui или llama-cpp-python. Их можно использовать с: KoboldCpp, мощным механизмом вывода на основе llama.cpp с полным ускорением графического процессора и хорошим пользовательским интерфейсом. LM Studio — полнофункциональный локальный графический интерфейс для вывода GGML в Windows и macOS. LoLLMs-WebUI — веб-интерфейс, который поддерживает практически все существующие серверные части. Используйте серверную часть ctransformers для поддержки этого…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: gpt-neox, conversational, en
Лайков: 11 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
