mlx-community/Ornith-1.5-9B-OptiQ-4bit - Каталог нейросетей
Генерация текста

mlx-community/Ornith-1.5-9B-OptiQ-4bit

Добавлено:
mlx-community/Ornith-1.5-9B-OptiQ-4bit

> Созданный с помощью mlx-optiq, набор инструментов MLX-native для квантования, точной настройки и обслуживания LLM локально на Apple Silicon, без PyTorch и без облака. All OptiQ quants · Docs OptiQ mixed-precision quant of ornith-ai/Ornith-1.5-9B-MLX, a 9B reasoning model. 7 GB on disk. После именования, которое llama.cpp использует для своих смешанных квантов, метка «4bit» обозначает семейство, а не средневзвешенное значение. For an OpenAI- and Anthropic-compatible endpoint with mixed-precision KV cache: This is a reasoning model, so give it a generous token budget. — Project website: mlx-optiq.com — All OptiQ quants: mlx-optiq.com/models — Base model: ornith-ai/Ornith-1.5-9B-MLX

Модальности:
Генерация текста

Области применения:
Логика и рассуждение Диалог / чат Вызов функций (Tool use)


Задача: Генерация текста
Автор: mlx-community
Теги: mlx, qwen3_5, optiq, quantized, 4bit, mixed-precision, qwen3.5, reasoning
Лайков: 3  |  Загрузок: 1,047

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.