Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon Эти файлы представляют собой файлы моделей формата GGML для StarcoderPlus от Bigcode. Обратите внимание, что эти GGML несовместимы с llama.cpp или в настоящее время с text-generation-webui. Ниже приведен список инструментов, которые, как известно, работают с этими файлами моделей. 4-битные модели GPTQ для вывода графического процессора. 4-, 5- и 8-битные модели GGML для вывода CPU+GPU * Неквантованная модель fp16 в формате pytorch, для вывода графического процессора и дальнейших преобразований. В настоящее время их можно использовать с: KoboldCpp, мощным механизмом вывода на основе llama.cpp, с хорошим пользовательским интерфейсом: KoboldCpp Библиотека Python ctransformers, которая включает поддержку LangChain: ctransformers GPT4All-UI, использующий ctransformers: GPT4All-UIrustformers’ llm Пример двоичного файла starcoder`, поставляемый с ggml. По мере появления других опций я постараюсь обновить их здесь (дайте мне знать на вкладке «Сообщество», если я что-то пропустил!) Текстовое руководство, написанное Lucas3DCG Видеоруководство, автор GPT4All-UI ParisNeo Для получения дополнительной поддержки и обсуждения этих моделей и искусственного интеллекта в целом присоединяйтесь к нам по адресу: Ive got многие люди спрашивают, могут ли они внести свой вклад. мне нравится…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: TheBloke
Теги: starcoder, code
Лайков: 35 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
