Для удобного обзора и списка загрузки посетите нашу страницу модели этой модели. Взвешенные/иматричные кванты, похоже, в настоящее время недоступны (мне). Если они не появятся примерно через неделю после статических, я, вероятно, не планировал их появление. Не стесняйтесь запрашивать их, открыв обсуждение сообщества. Если вы не знаете, как использовать файлы GGUF, обратитесь к одному из файлов README TheBloke для получения более подробной информации, в том числе о том, как объединить файлы, состоящие из нескольких частей. (отсортировано по размеру, не обязательно по качеству. IQ-квант часто предпочтительнее, чем аналогичный по размеру не-IQ-квант) Вот удобный график от ikawrakow, сравнивающий некоторые типы квантов более низкого качества (чем ниже, тем лучше): А вот мысли Artefact2 по этому поводу: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9 См. https://huggingface.co/mradermacher/model_requests, чтобы найти ответы на вопросы, которые могут у вас возникнуть, и/или если вы хотите квантовать какую-то другую модель. Я благодарю мою компанию nethype GmbH за то, что она позволила мне использовать ее серверы и предоставила обновления моей рабочей станции, чтобы я мог работать в свободное время.
Модальности:
Генерация текста
Области применения:
Мультиязычность
Задача: Генерация текста
Автор: mradermacher
Теги: gguf, transformers.js, en, fr, ro, de, multilingual, endpoints_compatible
Лайков: 6 | Загрузок: 136
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
