Mellum-4b-dpo-all — это третий этап нашего конвейера (после предварительного обучения и SFT), обученный с помощью прямой оптимизации предпочтений по качеству кода для создания более читаемого и полезного кода. Mellum-4b-dpo-all, предварительно обученный на более чем 4 триллионах токенов с контекстным окном из 8192 токенов на нескольких языках программирования, а затем настроенный, адаптирован для задач контекстно-зависимого завершения кода. Он был настроен для различных языков, включая Batchfile, C, C#, CMake, C++, CSS, Cython, Dockerfile, F#, Go, Groovy, HCL, HTML (и такие варианты, как шаблоны Django, EEx, ERB и PHP), Java, JSP, JavaScript, JSX, Kotlin, Less, Makefile, Objective-C++, PHP, PowerShell, Python, R, RHTML, Ruby, Rust, Sass, Scala, SCSS, Shell, SQL, Swift, TOML, TypeScript, Visual Basic, Vue и YAML. Модель соответствует архитектуре в стиле LLaMA с 4 миллиардами параметров, что делает ее эффективной как для облачного вывода (например, через vLLM), так и для локального развертывания (например, с использованием llama.cpp или Ollama). Меллум обучался с использованием автоматической смешанной точности (AMP) с точностью bf16. Загруженная версия на Hugging Face сохраняет формат bf16 для публичного использования. Предназначен для интеграции в профессиональные разработчики…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: JetBrains
Теги: llama, code, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 1,140
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
