Это квантованная GGUF версия Qwen3-Coder-30B-A3B-Instruct, созданная с помощью ShapeLearn от ByteShape, которая изучает оптимальный тип данных для каждого тензора для поддержания высокого качества даже при очень малых битовых длинах. Чтобы узнать больше о ShapeLearn и просмотреть подробные тесты графических процессоров, процессоров и даже Raspberry Pi, посетите наш блог. Если у вас есть вопросы или вы хотите поделиться отзывом, свяжитесь с нами на Reddit. — ЦП: модели, обозначенные как KQ, оптимизированные для вывода ЦП с преобладанием квантования KQ. — Графические процессоры: модели, обозначенные как IQ, оптимизированные для вывода графических процессоров с помощью гибридного подхода, сочетающего квантование KQ и IQ для повышения пропускной способности. Каждая цель аппаратного обеспечения включает в себя ряд моделей, сочетающих разные размеры и качество. На диаграмме ниже показано соотношение качества и количества токенов в секунду (TPS), при этом Unsloth используется в качестве базового показателя для сравнения. Качество измеряется по пяти тестам, включая вызов функций: BFCL-V3, LiveCodeBench V6, HumanEval, Math500 и GSM8K. Правило выбора: выберите модель с наивысшим качеством при целевой пропускной способности или самую быструю модель, которая по-прежнему соответствует требуемому качеству. Таблица отсортирована по размеру модели (сопоставьте номера диаграмм с идентификаторами моделей): Таблица отсортирована по…
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода Следование инструкциям
Задача: Генерация текста
Автор: byteshape
Теги: gguf, qwen, qwen3, qwen3-coder, byteshape, endpoints_compatible, conversational
Лайков: 35 | Загрузок: 2,680
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
