Исходная модель: https://huggingface.co/nvidia/Minitron-4B-Base https://aitorrent.zerroug.de/bartowski-minitron-4b-base-gguf-torrent/ Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) представляют собой стандартный метод квантования с вложениями и выходными весами, квантованными до Q8_0 вместо того, что обычно используется по умолчанию. Некоторые говорят, что это улучшает качество, другие не замечают никакой разницы. Если вы используете эти модели, ПОЖАЛУЙСТА, КОММЕНТИРУЙТЕ свои выводы. Мне бы хотелось узнать, что они действительно используются и полезны, поэтому я не буду продолжать загружать количественные данные, которые никто не использует. Спасибо kalomaze и Dampf за помощь в создании набора калибровочных данных imatrix. Спасибо ZeroWw за вдохновение для экспериментов с внедрением/выводом. Если модель больше 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их все в локальную папку, запустите: Вы можете указать новый локальный каталог (Minitron-4B-Base-Q8_0) или загрузить их все на месте (./). Artefact2 предоставляет отличную статью с диаграммами, показывающими различные характеристики. Первое, что нужно выяснить, это насколько большую модель вы можете запустить. Для этого вам нужно выяснить, сколько у вас оперативной и/или видеопамяти. Если вам нужна ваша модель…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bartowski
Теги: gguf, endpoints_compatible
Лайков: 4 | Загрузок: 1,044
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
