inferencerlabs/Bonsai-8B-MLX-Q2 - Каталог нейросетей
Генерация текста

inferencerlabs/Bonsai-8B-MLX-Q2

Добавлено:
inferencerlabs/Bonsai-8B-MLX-Q2

— Единый вывод ~106 токенов/с @ 1000 токенов (измеряется в режиме отладки) — Использование памяти: ~2,35 гиБ 2,25bpw quant — это увеличение без потерь, позволяющее работать на текущей выпущенной версии Inferencer. Мы не являемся создателем, создателем или владельцем любой из перечисленных моделей. Каждая модель создается и предоставляется третьими лицами. Модели не всегда могут быть точными или контекстуально подходящими. Вы несете ответственность за проверку информации перед принятием важных решений. Мы не несем ответственности за любой ущерб, убытки или проблемы, возникающие в результате его использования, включая потерю данных или неточности в контенте, созданном ИИ.

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: inferencerlabs
Теги: mlx, qwen3, quantized, conversational, en, 2-bit
Лайков: 4  |  Загрузок: 274

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.