Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon. Этот репозиторий содержит файлы моделей формата GPT-NeoX GGML для PULI GPT 3SX от NYTK. Обратите внимание, что эти GGML несовместимы с llama.cpp, text-generation-webui или llama-cpp-python. Ниже приведен список инструментов, которые работают с этой моделью GGML. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода CPU+GPU * Исходная неквантованная модель fp16 NYTK в формате pytorch для вывода GPU и дальнейших преобразований. Эти файлы несовместимы с llama.cpp, text-generation-webui или llama-cpp-python. Их можно использовать с: KoboldCpp, мощным механизмом вывода на основе llama.cpp с полным ускорением графического процессора и хорошим пользовательским интерфейсом. LM Studio — полнофункциональный локальный графический интерфейс для вывода GGML в Windows и macOS. LoLLMs-WebUI — веб-интерфейс, который поддерживает практически все существующие серверные части. Используйте серверную часть ctransformers для поддержки этой модели. ctransformers: для использования в коде Python, включая поддержку LangChain. llm ржавчины. Пример двоичного файла gpt-neox, поставляемого с ggml. По мере появления других опций я постараюсь их обновить…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: gpt-neox, puli, hu
Лайков: 5 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
