Mistral-NeMo-Minitron-8B-Instruct — это модель для генерации ответов для различных задач по генерации текста, включая ролевые игры, дополненную генерацию поиска и вызов функций. Это доработанная версия nvidia/Mistral-NeMo-Minitron-8B-Base, которая была сокращена и дистиллирована из Mistral-NeMo 12B с использованием нашей технологии сжатия LLM. Модель была обучена с использованием многоэтапного SFT и метода выравнивания на основе предпочтений с помощью NeMo Aligner. Подробную информацию о методе выравнивания см. в техническом отчете Nemotron-4 340B. Модель поддерживает длину контекста 8192 токена. Даты модели: Mistral-NeMo-Minitron-8B-Instruct проходил обучение в период с августа 2024 г. по сентябрь 2024 г. Mistral-NeMo-Minitron-8B-Instruct использует размер встраивания модели 4096, 32 головы внимания, промежуточный размер MLP 11520, всего 40 слоев. Кроме того, он использует внимание к групповым запросам (GQA) и встраивание вращающихся позиций (RoPE). Тип архитектуры: Декодер-трансформер (авторегрессивная языковая модель). Мы рекомендуем использовать следующий шаблон подсказки, который использовался для точной настройки модели. Без него модель может работать неоптимально. — Обратите внимание, что символ новой строки n должен быть добавлен в…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: nvidia
Теги: nemo, mistral, conversational, text-generation-inference, endpoints_compatible
Лайков: 82 | Загрузок: 87,977
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
