Llama-3.1-Minitron-4B-Depth-Base — это базовая модель преобразования текста в текст, которую можно адаптировать для различных задач генерации естественного языка. Его получают путем обрезки Ламы-3.1-8Б; в частности, мы сокращаем количество блоков трансформаторов в модели. После обрезки мы продолжаем обучение с дистилляцией, используя 94 миллиарда токенов, чтобы получить окончательную модель; для этой цели мы используем непрерывный корпус данных предварительного обучения, используемый в Nemotron-4 15B. Более подробную информацию можно найти в нашем техническом отчете. Даты модели: Llama-3.1-Minitron-4B-Depth-Base проходил обучение в период с 29 июля 2024 г. по 3 августа 2024 г. Эта модель выпущена в соответствии с лицензионным соглашением NVIDIA Open Model. Llama-3.1-Minitron-4B-Depth-Base использует размер встраивания модели 4096, 32 головы внимания, промежуточный размер MLP 14336, всего 32 слоя. Кроме того, он использует внимание к групповым запросам (GQA) и встраивание вращающихся позиций (RoPE). Тип архитектуры: Декодер-трансформер (авторегрессивная языковая модель). Другие свойства, связанные с входными данными: хорошо работает в пределах 8 000 символов или меньше. Совместимость поддерживаемой аппаратной микроархитектуры: NVIDIA Ampere NVIDIA Blackwell NVIDIA Hopper Свойства NVIDIA Lovelace:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nvidia
Теги: nemo, llama, nvidia, llama-3, en, text-generation-inference, endpoints_compatible
Лайков: 22 | Загрузок: 3,876
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
