MLX Studio — единственное приложение, которое изначально поддерживает модели JANG с учетом > First Mistral Small 4 (119B) на Apple Silicon. Внимание MLA + 128 экспертов МО + Pixtral VLM. Предварительное заполнение в 5 раз быстрее, чем 4-битная версия MLX Community. > Режим рассуждения: установите для параметра Reasoning_effort значение «high» для пошагового рассуждения с помощью тегов [THINK]…[/THINK]. — Предварительное заполнение в 5 раз быстрее (216 против 43 ток/с) — В два раза меньший размер (30 ГБ против 63 ГБ) при сопоставимой скорости генерации — Проведено тестирование на M3 Ultra 256 ГБ с процессором bfloat16 — Генерация 82 ток/с на M3 Ultra — соответствует 4-битному MLX при вдвое меньшем размере — 30 ГБ на диске, 40 ГБ пиковой оперативной памяти — подходит для компьютеров Mac с 48 ГБ (M4 Pro, M2/M3 Max) — Vision (VLM): пиксельный кодер, максимум 1540 пикселей, обрабатывает изображения — Режим рассуждения: [THINK]…[/THINK] пошаговое рассуждение — Генерация кода: полные функции со строками документации и оптимизированной логикой — Математика: пошаговые расчеты с распределительными свойствами — Всего 119B / 6B активных на токен — Внимание MLA + 128 экспертов MoE Пять идеальных 100% предметы. 119B интеллекта в 30 ГБ со скоростью 82 ток/с. — MLX Studio для встроенной поддержки JANG с обоснованием. — Или: — Apple Silicon Mac с унифицированной памятью более 48 ГБ.
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: JANGQ-AI
Теги: mlx, mistral3, jang, quantized, mixed-precision, apple-silicon, vlm, reasoning
Лайков: 8 | Загрузок: 483
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
