Набор данных NEO повышает общую производительность и подходит для всех случаев использования. Эту модель можно запускать на процессоре, графическом процессоре или с частичной разгрузкой, при этом по умолчанию активировано всего 4 эксперта (из 128); что составляет около 5B параметров. Модель также прошла «жесткий» тест по кодированию (4 эксперта); нет проблем (IQ4_NL). (Принуждение модели создавать код без зависимостей и ограничений сокращений кодирования, с несколькими циклами и в реальном времени без блокировки на языке, который обычно его не поддерживает.) Из-за проблем с квантованием в этой модели (которые приводят к странным размерам / смесям квантов), будут загружены только ПРОВЕРЕННЫЕ кванты (на данный момент). В настоящее время это означает, что доступны IQ4NL и MXFP4MOE (новый тип кванта, специфичный для OpenAI) — Q8_0 здесь нет, поскольку imatrix не влияет на этот квант. Улучшения производительности набора данных NEO больше всего покажутся в количественном анализе IQ4NL, за которым следует квант «MXFP4MOE». Квант IQ4NL: — OpenAI-120B-NEO-IQ4NL.gguf: стандартный Imatrix + выходной тензор IQ4NL (NEO Imatrix) И встраивание в IQ4NL. Квант NEO MXFP4MOE: — OpenAI-120B-NEO-MXFP4MOE.gguf: Выходной тензор IQ4NL (NEO Imatrix) И встроить в IQ4NL — это делает этот квант самой маленькой версией. Кванты MXFP4MOE значительно превосходят (на данный момент) все…
Модальности:
Генерация текста
Области применения:
Генерация кода Программирование Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, gpt_oss, gpt-oss, openai, mxfp4, programming, code generation, code
Лайков: 22 | Загрузок: 478
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
