MLX квантование WeiboAI/VibeThinker-3B для Apple Silicon. Вариант: Block float MX FP8 Disk size: 3046 MB Quantized by: sahilchachra Evaluated on Apple M5 Pro with MLX. Модель загружена один раз; производительность и качество измеряются за один проход. > Теплая, короткая подсказка, чат-шаблон, мышление отключено. Представляет собой стационарное декодирование для типичного использования в чате; длительные трассировки мышления будут медленнее из-за роста кэша KV. VibeThinker-3B — это модель рассуждений (построенная на Qwen2.5-3B). Он думает внутри… блока, а затем пишет свой окончательный ответ, поэтому то, как вы его называете, имеет значение: — Всегда применяйте шаблон чата (tokenizer.applychattemplate(…, addgenerationprompt=True)). Передача необработанной строки пропускает маркеры/, на которых была обучена модель. — Дайте ему время подумать. Он может испускать тысячи маркеров рассуждений перед ответом — используйте макстокены не менее 8192 (16384 для математики жесткой конкуренции). Маленькие крышечки срезают его в середине мыслей. — Для математики попросите окончательный ответ в boxed{} — вот как это было обучено и как были оценены контрольные показатели ниже. Разберите текст после для ответа. — Длина контекста: до 64K токенов. — Стоп-токен: эти варианты MLX устанавливают eostokenid для включения ` (151645), поэтому генерация…
Модальности:
Генерация текста
Области применения:
Математика Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: sahilchachra
Теги: mlx, qwen2, quantized, apple-silicon, reasoning, math, conversational, 8-bit
Лайков: 3 | Загрузок: 42
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
