Nemotron-Mini-4B-Instruct — это модель генерации ответов для ролевых игр, расширенной генерации поиска и вызова функций. Это небольшая языковая модель (SLM), оптимизированная посредством дистилляции, сокращения и квантования для обеспечения скорости и развертывания на устройстве. Это доработанная версия nvidia/Minitron-4B-Base, которая была сокращена и дистиллирована из Nemotron-4 15B с использованием нашей технологии сжатия LLM. Эта модель инструкций оптимизирована для ролевых игр, RAG QA и вызова функций на английском языке. Он поддерживает длину контекста 4096 токенов. Данная модель готова к коммерческому использованию. Более подробную информацию о том, как эта модель используется для NVIDIA ACE, можно найти в этой записи блога и в этом демонстрационном видеоролике, в котором показано, как эту модель можно интегрировать в видеоигру. Вы можете скачать контрольную точку модели для NVIDIA AI Inference Manager (AIM) SDK здесь. Даты модели: Nemotron-Mini-4B-Instruct проходил обучение в период с февраля 2024 г. по август 2024 г. Nemotron-Mini-4B-Instruct использует размер встраивания модели 3072, 32 головы внимания и промежуточное измерение MLP 9216. Он также использует встраивание группового запроса (GQA) и вращающееся позиционирование (RoPE). Тип архитектуры: Трансформаторный декодер…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: nvidia
Теги: nemo, nemotron, nvidia, llama-3, conversational, en, endpoints_compatible
Лайков: 176 | Загрузок: 14,367
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
