Специализированные кванты (включая новый «MXFP4_MOE.gguf») для новой OpenAI 20B MOE — модель смеси экспертов со скоростью 80+ T/S. Набор данных NEO повышает общую производительность и подходит для всех случаев использования. Модель также прошла «жесткий» тест по кодированию (6 экспертов); нет проблем (IQ4_NL). (Принуждение модели создавать код без зависимостей и ограничений сокращений кодирования, с несколькими циклами и в реальном времени без блокировки на языке, который обычно его не поддерживает.) Из-за проблем с квантованием в этой модели (которые приводят к странным размерам / смесям квантов), будут загружены только ПРОВЕРЕННЫЕ кванты (на данный момент). В настоящее время это означает, что доступны IQ4NL, Q51 и MXFP4MOE (новый тип кванта, специфичный для OpenAI) — Q80 здесь нет, поскольку imatrix не влияет на этот квант. Улучшения производительности набора данных NEO больше всего покажутся в квантах IQ4NL, за которыми следуют кванты Q51, а затем «MXFP4_MOE». Существует ДВА кванта IQ4NL: — OpenAI-20B-NEO-IQ4NL.gguf: стандартный Imatrix — OpenAI-20B-NEO2-IQ4NL.gguf: стандартный Imatrix + выходной тензор IQ4NL (NEO Imatrix) И встроить в IQ4_NL. Существует ТРИ кванта Q51: — OpenAI-20B-NEO-Q51.gguf: стандартный Imatrix — OpenAI-20B-NEO2-Q51.gguf: стандартный Imatrix + выходной тензор IQ4NL (NEO Imatrix)…
Модальности:
Генерация текста
Области применения:
Генерация кода Программирование Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, gpt_oss, gpt-oss, openai, mxfp4, programming, code generation, code
Лайков: 22 | Загрузок: 2,064
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
