27-миллиардная Qwen, у которой вырезан «лишний» кусок словаря, и две сборки квантования: IQ3XXS — целиком в 12 ГБ видеопамяти, Q4KM — на карту 24 ГБ. Не дистилляция, не файнтюн, не abliteration — веса модели не тронуты вообще. Изменён только токенизатор и две словарные матрицы (embeddings + lmhead), из которых удалены токены письменностей, не используемых в русско-английском рабочем тексте и коде: CJK, корейский, арабский, иврит, деванагари, тайский, греческий, армянский, грузинский и т. п. INVALID LANGUAGE PAIR SPECIFIED. EXAMPLE: LANGPAIR=EN|IT USING 2 LETTER ISO OR RFC3066 LIKE ZH-CN. ALMOST ALL LANGUAGES SUPPORTED BUT SOME MAY HAVE NO CONTENT > > Спекулятивное декодирование — штатное, без отдельного draft-файла: в модели есть > родной MTP-слой (blk.64.nextn.), работает —spec-type draft-mtp —draft 4. > > Плата за размер — качество кванта: PPL у IQ3XXS на 4.5–6% выше, чем у Q4KM той же > модели (см. раздел про перплексию). Если есть карта 24 ГБ — берите Q4KM-сборку из этого > же репозитория, она…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Igor282
Теги: llama.cpp, gguf, qwen, tokenizer-pruning, speculative-decoding, imatrix, russian, quantization
Лайков: 3 | Загрузок: 223
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
