— Вывод текста: ~30 токенов/с @ 2000 токенов ~95,49 ГиБ (отладочная сборка) Q2.8-INF использует независимый от данных метод INF, настроенный для достижения максимальной общей точности в пределах бюджета памяти 128 ГиБ. Эта сборка сжимает модель для работы в пределах ограничений памяти системы ОЗУ объемом 128 ГиБ, сохраняя при этом согласованность ответов. Однако общая точность ухудшается из-за уровня сжатия. Мы не являемся создателем, создателем или владельцем какой-либо из перечисленных моделей. Каждая модель создана и предоставлена третьими лицами. Модели не всегда могут быть точными или контекстуально подходящими. Вы несете ответственность за проверку информации перед принятием важных решений. Мы не несем ответственности за любой ущерб, убытки или проблемы, возникающие в результате его использования, включая потерю данных или неточности в контенте, созданном ИИ.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inferencerlabs
Теги: mlx, deepseek_v4, quantized, conversational, en
Лайков: 7 | Загрузок: 2,252
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
