Исходная модель INT4 была деквантована с помощью моего собственного скрипта: DQint4-to-bf16dequant (на основе скрипта деквантования deepseek V3).
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DevQuasar
Теги: gguf, endpoints_compatible, imatrix, conversational
Лайков: 5 | Загрузок: 168
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.