❤️ В этом репозитории находится модель LLaMA-MoE-v1-3.0B (2/16), которая активирует 2 из 16 экспертов (параметры 3.0B). Эта модель НЕ настраивается с помощью пар инструкций, поэтому она может быть недостаточно хороша, чтобы действовать как чат-бот. 📢 LLaMA-MoE — серия моделей Mixture-of-Expert (MoE) на базе LLaMA-2. Вы можете найти код для обучения этой модели в этом репозитории. 💎Эта серия моделей получена путем разделения оригинальных LLaMA FFN на экспертов и дальнейшей постоянной предварительной подготовки. Общий размер модели составляет всего 6,7 млрд параметров, что очень удобно для развертывания и исследовательского использования. Более подробную информацию можно найти в нашем техническом отчете. Данные для обучения: 200 миллиардов токенов от SlimPajama с теми же весами выборки данных, что и у Sheared LLaMA.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: llama-moe
Теги: llama_moe, MoE, custom_code, en
Лайков: 11 | Загрузок: 771
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
