Разработчики модели — Дмитрий Браженко — Анастасия Жибоедова — Майк Арбузов Архитектура модели Модель Llama 3.1 8B представляет собой современную языковую модель, предназначенную для широкого круга задач разговорной речи и генерации текста. Благодаря применению механизма обучения адаптивного квантования (AQLM), разработанного компанией Yandex Research, размер модели был значительно уменьшен без ущерба для ее мощных возможностей. Этот подход динамически регулирует точность параметров модели во время обучения, оптимизируя как производительность, так и эффективность. Лицензия. Модель работает по лицензии Llama-3, предоставленной Meta. Подробную информацию о лицензии можно найти на странице: Лицензия Llama-3. — Примененная техника квантования принадлежит компании Yandex Research и подробно описана в их статье «Механизм обучения адаптивного квантования». Метод квантования. Благодаря инновационному механизму обучения AQLM (адаптивному механизму квантования), эта модель обеспечивает замечательный баланс между размером и производительностью. AQLM точно настраивает точность параметров в режиме реального времени во время обучения, что приводит к созданию оптимизированной модели, сохраняющей надежные возможности своего полноразмерного аналога. Этот метод квантования подробно описан в…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: azhiboedova
Теги: llama, facebook, meta, llama-3.1, conversational, text-generation-inference, endpoints_compatible, aqlm
Лайков: 13 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
