Это кванты для механизма вывода DS4, построенного на основе матрицы важности (imatrix) и смещений тензора, выровненных для эффективной работы mmap в Apple Silicon. Они являются полной заменой файлов, опубликованных в antirez/deepseek-v4-gguf, с двумя изменениями: — Квант IQ2XXS был пересчитан с использованием иматрицы, откалиброванной по трафику Chat-v2, которая восстанавливает качество при вызове инструмента и следовании инструкциям, которые ухудшились в исходном слепом кванте. — Все смещения тензорных данных выравниваются по страницам, что позволяет среде выполнения непосредственно отображать файл без дополнительной копии. Файл MTP воспроизводится здесь без изменений, поэтому в одном репозитории содержится все, что ожидает downloadmodel.sh. Используйте квант IQ2XXS на компьютерах Mac с памятью 128 ГБ, соедините его с файлом MTP для дополнительного спекулятивного декодирования. IQ2XXS` — это квант размером 2,0625 бита на вес. При этом бюджете тензорные шкалы имеют большое значение, и слепой количественный анализ имеет тенденцию недооценивать строки, которые содержат токены вызова инструментов и редко направляемых экспертов. Калибровка по образцу, полученному из корпуса чата-v2, смещает масштабы в сторону этих строк, что на практике восстанавливает большую часть регрессии, наблюдаемой при: — выбросе функции/вызова инструмента (правильно сформированный JSON, правильный аргумент…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: jedisct1
Теги: gguf, quantized, deepseek, deepseek-v4, deepseek-v4-flash, moe, mixture-of-experts, 2-bit
Лайков: 5 | Загрузок: 415
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
