Этот репозиторий содержит файлы моделей формата GGUF для Jiunsong/supergemma4-e4b-abliterated. Эти файлы были квантованы с использованием llama.cpp, чтобы предоставить различные сжатые версии модели для локального вывода на оборудовании с меньшим объемом видеопамяти. Предусмотрены следующие форматы квантования, позволяющие сбалансировать использование памяти, скорость и качество: Q80: 8-битное квантование. По качеству очень близок к оригинальной модели F16, но требует больше всего памяти. Q6K: 6-битное квантование. Отличный баланс качества и размера. Q5KM: 5-битное квантование. Хорошая золотая середина для аппаратного обеспечения более низкого уровня при сохранении высокой согласованности. Q4KM: 4-битное квантование. Рекомендуемый стандарт для повседневного местного использования. Высокая скорость, малая память, небольшие недоумения. Q4KS: 4-битное квантование (маленькое). Немного меньше и быстрее, чем Q4KM, с небольшим падением точности. Q3KM: 3-битное квантование. Экстремальное сжатие для очень ограниченного оборудования. Заметное ухудшение сложных рассуждений, но подходит для базовой генерации текста. Вы можете запустить эти модели GGUF с помощью любого пользовательского интерфейса или инструмента терминала, поддерживающего llama.cpp, например: LM Studio Ollama text-generation-webui GPT4All. Если у вас есть llama.cpp, скомпилированный локально, вы можете запустить…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Abiray
Теги: gguf, llama.cpp, gguf-my-repo, gemma, endpoints_compatible, conversational
Лайков: 7 | Загрузок: 520
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
