MobiLlama-08B — это модель малого языка с 0,8 миллиарда параметров. Он был обучен с использованием источников данных Amber Amber-Dataset. «Чем больше, тем лучше» стало преобладающей тенденцией в недавней разработке моделей большого языка (LLM). Однако LLM не очень хорошо подходят для сценариев, требующих обработки на устройстве, энергоэффективности, небольшого объема памяти и эффективности реагирования. Эти реквизиты имеют решающее значение для конфиденциальности, безопасности и устойчивого развертывания. В этой статье исследуется парадигма «меньше значит больше», решая задачу разработки точных, но эффективных моделей малого языка (SLM) для устройств с ограниченными ресурсами. Наш основной вклад — это внедрение точного и полностью прозрачного SLM с открытым исходным кодом с 0,5 миллиарда (0,5 млрд) параметров под названием MobiLlama, удовлетворяющего конкретные потребности вычислений с ограниченными ресурсами, с упором на повышение производительности при снижении требований к ресурсам. MobiLlama — это проект SLM, который начинается с более крупной модели и применяет тщательную схему совместного использования параметров, чтобы сократить как затраты на предварительное обучение, так и затраты на развертывание. Наша работа направлена не только на устранение разрыва в SLM с открытым исходным кодом, но и на обеспечение полной прозрачности там, где она полная…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: MBZUAI
Теги: llama, nlp, code, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
