Пользовательское квантование moonshotai/Kimi-K2-Instruct > V2 со смешанной точностью под управлением иматрицы FinnTheAI улучшает V1 (352 ГБ однородного Q4KM) с уменьшением размера на 10% (320 ГБ) и полной калибровкой иматрицы — квантование, взвешенное по важности, по всем 1096 тензорам, руководствуясь 789 точками данных калибровки из 100 фрагментов репрезентативного текста. > Примечание по команде quantize: аргумент Q4KM to llama-quantize устанавливает резервный тип для любого тензора, явно не указанного в —tensor-type-file. Поскольку все 1096 тензоров в этой модели покрыты файлом типа тензора, позиционный аргумент фактически не используется — квант каждого тензора определяется файлом выше. Иматрица направляет llama-quantize, чтобы назначить большую точность тензорным элементам, которые оказывают наибольшее влияние на качество вывода, независимо от вышеуказанных решений квантового типа для каждого компонента. > > Реальные измерения в ожидании — будут обновлены после того, как модель будет полностью проверена под нагрузкой. Оценивается в контексте 131K (-np 1): ~ 330 ГБ веса модели ~35 ГБ кэш-памяти КВ ≈ ~ 365 ГБ всего. — Оригинальная модель: moonshotai/Kimi-K2-Instruct — Оригинальные авторы: Moonshot AI (Copyright © 2025) — Квантование: FinnTheAI Этот репозиторий содержит…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: FinnTheAI
Теги: gguf, llama-cpp, quantized, moe, deepseek2, imatrix, mixed-precision, en
Лайков: 3 | Загрузок: 56
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
