Экспериментальная же сборка GGUF MiMo-V2.5 для tnhnyzc/llama-mimo-mtp, на базе XiaomiMiMo/MiMo-V2.5. Эти GGUF содержат обычную целевую модель MiMo плюс добавленные тензоры MTP/nextn. Форк использует путь Draft-mtp llama.cpp для черновика из тензоров MTP в том же GGUF, поэтому отдельный файл черновой модели не требуется. Это предназначено для описанной выше вилки до тех пор, пока в исходном llama.cpp не будет доступна эквивалентная поддержка MTP MiMo-V2.5. — MiMo-V2.5-IQ3S.gguf — целевой квант в стиле IQ3S с добавленными тензорами MTP BF16. — Сделано для копирования рецепта квантования AesSedai MiMo-V2.5 IQ3S с использованием иматрицы AesSedai, включая тензоры MTP. — Краткое описание рецепта: плотный/нижний Q6K, экспертные ворота/вверх/вниз IQ2S/IQ2S/IQ3S, тензоры MTP добавлены как BF16. — IQ2XXS/ — 17-осколочный IQ2XXS / Q8-инфра + набор BF16 MTP GGUF. — Краткое описание рецепта: плотный/нижний Q80, экспертные ворота/вверх/вниз IQ2XXS, nextn.ehproj BF16, нормы/смещения влево F32. — Q4K/ — 17-осколочный Q4K/Q8-инфра + набор BF16 MTP GGUF. — Краткое описание рецепта: плотный/нижний Q80, экспертные ворота/вверх/вниз Q4K, nextn.ehproj BF16, нормы/смещения влево F32. — Q6K/ — 17-осколочный Q6K/Q8-инфра + набор BF16 MTP GGUF. — Краткое описание рецепта: плотный/нижний Q80, экспертные ворота/вверх/вниз Q6K, nextn.ehproj BF16, нормы/предвзятости…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: tnhnyzc
Теги: gguf, llama.cpp, mimo, mtp, speculative-decoding, experimental, imatrix, en
Лайков: 6 | Загрузок: 2,096
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
