База Mellum-4b — это первая модель большого языка (LLM) JetBrains с открытым исходным кодом, оптимизированная для задач, связанных с кодом. База Mellum-4b, обученная на более чем 4 триллионах токенов с контекстным окном из 8192 токенов на нескольких языках программирования, специально разработана для завершения кода. Модель соответствует архитектуре в стиле LLaMA с 4 миллиардами параметров, что делает ее эффективной как для облачного вывода (например, через vLLM), так и для локального развертывания (например, с использованием llama.cpp или Ollama). Меллум обучался с использованием автоматической смешанной точности (AMP) с точностью bf16. Загруженная версия на Hugging Face сохраняет формат bf16 для публичного использования. Разработанный для интеграции в профессиональные инструменты разработчиков (например, интеллектуальные предложения кода в IDE), помощников по кодированию на базе искусственного интеллекта и исследований в области понимания и генерации кода, Mellum также хорошо подходит для образовательных приложений и экспериментов по точной настройке. Этот выпуск включает в себя базовую модель, а также модели Python SFT. Модели для других языков будут выпущены в ближайшее время. Имейте в виду, что базовая модель не предназначена для выполнения последующих задач в готовом виде, однако она полностью способна поддерживать контролируемую точную настройку (SFT) и обучение с подкреплением…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: JetBrains
Теги: llama, code, model-index, text-generation-inference, endpoints_compatible
Лайков: 437 | Загрузок: 2,941
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
