Мы представляем MobiLlama-1.2B-Chat, инструкцию по модели, доработанную на MBZUAI/MobiLlama-1B. «Чем больше, тем лучше» стало преобладающей тенденцией в недавней разработке моделей большого языка (LLM). Однако LLM не очень хорошо подходят для сценариев, требующих обработки на устройстве, энергоэффективности, небольшого объема памяти и эффективности реагирования. Эти реквизиты имеют решающее значение для конфиденциальности, безопасности и устойчивого развертывания. В этой статье исследуется парадигма «меньше значит больше», решая задачу разработки точных, но эффективных моделей малого языка (SLM) для устройств с ограниченными ресурсами. Нашим основным вкладом является внедрение точного и полностью прозрачного SLM с открытым исходным кодом с 0,5 миллиарда (0,5 млрд) параметров под названием MobiLlama, удовлетворяющего конкретные потребности вычислений с ограниченными ресурсами с упором на повышение производительности при снижении требований к ресурсам. MobiLlama — это проект SLM, который начинается с более крупной модели и применяет тщательную схему совместного использования параметров, чтобы сократить как затраты на предварительное обучение, так и затраты на развертывание. Наша работа направлена не только на устранение разрыва в SLM с открытым исходным кодом, но и на обеспечение полной прозрачности, где полный конвейер обучающих данных, обучение…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: MBZUAI
Теги: llama, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 25 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
