статические кванты https://huggingface.co/fableforge-ai/ShellWhisperer-1.5B Для удобного обзора и списка загрузок посетите нашу страницу модели для этой модели. взвешенные/иматричные кванты, похоже, недоступны (мной) в это время. Если они не появятся через неделю или около того после статических, я, вероятно, не планировал их. Вы можете запросить их, открыв обсуждение в сообществе. Если вы не знаете, как использовать файлы GGUF, обратитесь к одному из README TheBloke для получения дополнительной информации, в том числе о том, как объединять многокомпонентные файлы. (Сортировка по размеру, не обязательно качеству. IQ-кванты часто предпочтительнее, чем аналогичные по размеру не-IQ-кванты) Вот удобный график от ikawrakow, сравнивающий некоторые типы квантов более низкого качества (чем ниже, тем лучше): И вот мысли Artefact2 по этому вопросу: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9 См. https://huggingface.co/mradermacher/model_requests для некоторых ответов на вопросы, которые у вас могут возникнуть, и/или если вы хотите квантовать какую-то другую модель. Я благодарю свою компанию, nethype GmbH, за то, что она позволила мне использовать свои серверы и предоставила обновления для моей рабочей станции, чтобы я мог выполнять эту работу в свободное время.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Языки программирования:
Bash/Shell
Задача: Генерация текста
Автор: mradermacher
Теги: gguf, 1.5b, commands, devops, fableforge, imatrix, llama.cpp, lm-studio
Лайков: 3 | Загрузок: 188
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
