Русско-английская, кодоориентированная Gemma-4-E4B, у которой вырезан «лишний» кусок словаря. Не дистилляция, не файнтюн, не abliteration — веса модели не тронуты вообще. Изменён только токенизатор и две embedding-матрицы, из которых удалены токены письменностей, которыми почти никто не пользуется в русско-английском рабочем тексте: CJK, кана, арабский, иврит, деванагари, корейский, тайский, греческий, армянский, грузинский и т. п. INVALID LANGUAGE PAIR SPECIFIED. EXAMPLE: LANGPAIR=EN|IT USING 2 LETTER ISO OR RFC3066 LIKE ZH-CN. ALMOST ALL LANGUAGES SUPPORTED BUT SOME MAY HAVE NO CONTENT На этой же карте оригинал в UD-Q4KXL (5.13 ГБ) в 128k не влезает > в принципе, а в 36k влезает на грани. > > Измерено на живом сервере (—ctx-size 128512 -np 2 -ctk q80 -ctv q80, MTP-draft): > 5 493 MiB из 6 144 MiB, генерация 44 t/s на коротком контексте, промпт ~1 700 t/s. > На 60k контекста…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Igor282
Теги: llama.cpp, gguf, gemma4, tokenizer-pruning, speculative-decoding, russian, quantization, any-to-any
Лайков: 3 | Загрузок: 243
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.