Кванты матрицы важности (imatrix) GGUF для https://huggingface.co/abacusai/Smaug-72B-v0.1. Матрица важности была обучена для 100 тыс. токенов (200 пакетов по 512 токенов) с использованием wiki.train.raw. Обновление от 14 марта 2024 г.: новый квантовый IQ1S с использованием последней фиксации 4755afd1. Обновление от 2 марта 2024 г.: новые кванты IQ2S/IQ2M, требуется фиксация a33e6a0d или более поздней версии. Матрица важности была обучена для ~ 50 тыс. токенов (105 пакетов по 512 токенов) с использованием набора калибровочных данных imatrix общего назначения. * Это набор калибровочных данных, отличный от предыдущих квантов, которые я опубликовал, поэтому мы можем сравнить качественный шаблон разговора Llama-2 и набор системных подсказок с системным приглашением Qwen.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: dranger003
Теги: gguf, endpoints_compatible
Лайков: 12 | Загрузок: 115
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
