Это квантованная GGUF версия Devstral-Small-2-24B-Instruct-2512, созданная с помощью ShapeLearn от ByteShape, которая изучает оптимальный тип данных для каждого тензора для поддержания высокого качества даже при очень малых битовых длинах. Чтобы просмотреть интерактивные графики и тесты для графических процессоров Nvidia, посетите наш блог. Если у вас есть вопросы или вы хотите поделиться отзывом, свяжитесь с нами на Reddit. Мы предоставляем модели, оптимизированные для графических процессоров NVIDIA RTX серий 40 и 50, в файле llama.cpp. На диаграмме ниже показано соотношение качества и количества токенов в секунду (TPS), при этом Unsloth используется в качестве базового показателя для сравнения. Качество измеряется по семи критериям, включая вызов функций и зрение: BFCL-V3, LiveCodeBench V6, HumanEval, GSM8K-V, Math500, GSM8K и MMLU. Правило выбора: выберите модель с наивысшим качеством при целевой пропускной способности или самую быструю модель, которая по-прежнему соответствует требуемому качеству. Таблица отсортирована по размеру модели (соответствуйте номерам диаграммы идентификаторам моделей): метки, которые вы видите (например, IQ4XS`), нужны только для того, чтобы Hugging Face показывал наши модели в таблице GGUF. Мы не используем традиционные профили квантования, определенные в llama.cpp. В нашем случае эти метки указывают метод первичного квантования и среднюю длину в битах.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: byteshape
Теги: gguf, mistral, devstral, byteshape, endpoints_compatible, conversational
Лайков: 27 | Загрузок: 3,766
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
