— Архитектура модели: unsloth/Mistral-Small-3.2-24B-Instruct-2506 — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование веса: FP4 — Квантование активации: FP4 — За пределами области применения: использование любым способом, нарушающим применимые законы или правила (включая законы о соблюдении правил торговли). Используйте на языках, отличных от английского. — Дата выпуска: 29.10.2025 — Версия: 1.0 — Разработчики модели: RedHatAI Эта модель представляет собой квантованную версию unsloth/Mistral-Small-3.2-24B-Instruct-2506. Она была оценена по нескольким задачам для оценки ее качества по сравнению с неквалифицированной моделью. Эта модель была получена путем квантования весов и активаций unsloth/Mistral-Small-3.2-24B-Instruct-2506 в тип данных FP4, готовый к выводу с vLLM>=0.9.1. Эта оптимизация уменьшает количество бит на параметр с 16 до 4, уменьшая размер диска и требования к памяти графического процессора примерно на 75%. Только веса и активации линейных операторов внутри блоков трансформаторов квантуются с помощью LLM Compressor. Эта модель была создана путем применения LLM Compressor с калибровочными образцами из UltraChat, как показано в фрагменте кода ниже. Эта модель была оценена на известном OpenLLM v1,…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: RedHatAI
Теги: mistral3, fp4, vllm, conversational, en, de, fr, it
Лайков: 9 | Загрузок: 3,304
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
