Llama-3.1-Minitron-4B-Width-Base — это базовая модель преобразования текста в текст, которую можно адаптировать для различных задач генерации естественного языка. Его получают путем обрезки Ламы-3.1-8Б; в частности, мы сокращаем размер встраивания модели и промежуточное измерение MLP. После обрезки мы продолжаем обучение с дистилляцией, используя 94 миллиарда токенов, чтобы получить окончательную модель; для этой цели мы используем непрерывный корпус данных предварительного обучения, используемый в Nemotron-4 15B. Более подробную информацию можно найти в нашем техническом отчете. Даты модели: Llama-3.1-Minitron-4B-Width-Base проходил обучение в период с 29 июля 2024 г. по 3 августа 2024 г. Эта модель выпущена в соответствии с лицензионным соглашением NVIDIA Open Model. Llama-3.1-Minitron-4B-Width-Base использует размер встраивания модели 3072, 32 головы внимания, промежуточный размер MLP 9216, всего 32 слоя. Кроме того, он использует внимание к групповым запросам (GQA) и встраивание вращающихся позиций (RoPE). Тип архитектуры: Декодер-трансформер (авторегрессивная языковая модель). Другие свойства, связанные с входными данными: хорошо работает в пределах 8 000 символов или меньше. Поддержка этой модели будет добавлена в ближайшем выпуске трансформеров. А пока, пожалуйста, установите библиотеку из…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nvidia
Теги: nemo, llama, nvidia, llama-3, en, text-generation-inference, endpoints_compatible
Лайков: 193 | Загрузок: 2,352
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
