Квантование AWQ: выполнено stelterlab в INT4 GEMM с использованием llm-compressor (https://github.com/vllm-project/llm-compressor — v0.9.0.1) из vllm-проекта. См. рецепт.yaml. Провел несколько базовых тестов vLLM v0.15.0 (официальный образ докера). Дата окончания обучения после обучения — 28 ноября 2025 года. Крайняя дата для данных перед обучением — 25 июня 2025 г.. Nemotron-Nano-3-30B-A3B-FP8 представляет собой квантованную версию Nemotron-Nano-3-30B-A3B и представляет собой большую языковую модель (LLM), обученную с нуля NVIDIA и разработанную как унифицированную модель как для рассуждений, так и для задач, не связанных с рассуждениями. Он реагирует на запросы и задачи пользователя, сначала генерируя логическую цепочку, а затем заканчивая окончательным ответом. Возможности рассуждения модели можно настроить с помощью флага в шаблоне чата. Если пользователь предпочитает, чтобы модель давала окончательный ответ без промежуточных следов рассуждений, ее можно настроить на это, хотя и с небольшим снижением точности для более сложных подсказок, требующих рассуждений. И наоборот, разрешение модели сначала генерировать следы рассуждений обычно приводит к более высокому качеству окончательных решений запросов и задач. В модели используется гибридная смесь экспертов (МОЭ)…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: stelterlab
Теги: nvidia, conversational, en, es, fr, de, ja, it
Лайков: 10 | Загрузок: 14,445
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
