Это квантованная GGUF версия Qwen3-4B-Instruct-2507, созданная с помощью ShapeLearn от ByteShape, которая изучает оптимальный тип данных для каждого тензора для поддержания высокого качества даже при очень малых битовых длинах (исключительная тема этого выпуска). Чтобы узнать больше о ShapeLearn и просмотреть подробные тесты графических процессоров, процессоров и даже Raspberry Pi, посетите наш блог. Если у вас есть вопросы или вы хотите поделиться отзывом, свяжитесь с нами на Reddit. — ЦП: квантование KQ является предпочтительным из-за эффективности ядра GGML. — Графические процессоры Nvidia: IQ-квантование обеспечивает более высокую пропускную способность на современных архитектурах. Каждая цель аппаратного обеспечения включает в себя ряд моделей, сочетающих разные размеры и качество. На диаграммах ниже показано соотношение качества и количества токенов в секунду для каждого устройства, сравнивая модели ShapeLearn с базовыми показателями Unsloth. Правило выбора: выберите модель с наивысшим качеством при целевой пропускной способности или самую быструю модель, которая по-прежнему соответствует требуемому качеству. Таблица, отсортированная по скорости вывода (сопоставьте номера диаграмм с идентификаторами моделей): Таблица, отсортированная по скорости вывода (сопоставьте номера диаграмм с идентификаторами моделей): Метки, которые вы видите (например, IQ4XS`), нужны только для того, чтобы Hugging Face показывал наши модели в GGUF…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: byteshape
Теги: gguf, qwen, qwen3, byteshape, endpoints_compatible, conversational
Лайков: 34 | Загрузок: 1,160
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
