Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon. Этот репозиторий содержит файлы моделей формата StarCoder GGML для Octocoder BigCode. Обратите внимание, что эти GGML несовместимы с llama.cpp, text-generation-webui или llama-cpp-python. Ниже приведен список инструментов, которые работают с этой моделью GGML. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода CPU+GPU * Исходная неквантованная модель fp16 BigCode в формате pytorch, для вывода GPU и дальнейших преобразований. Эти файлы несовместимы с llama.cpp, text-generation-webui или llama-cpp-python. Их можно использовать с: KoboldCpp, мощным механизмом вывода на основе llama.cpp с полным ускорением графического процессора и хорошим пользовательским интерфейсом. LM Studio — полнофункциональный локальный графический интерфейс для вывода GGML в Windows и macOS. LoLLMs-WebUI — веб-интерфейс, который поддерживает практически все существующие серверные части. Используйте серверную часть ctransformers для поддержки этой модели. ctransformers: для использования в коде Python, включая поддержку LangChain. llm ржавчины. Пример двоичного файла Starcoder, поставляемого с ggml. По мере появления других опций я постараюсь обновить…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: TheBloke
Теги: starcoder, code, model-index
Лайков: 15 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
