Llama 3.1 Pro Coder v1 — это доработанная версия инструкции Meta 3.1 8B Instruct, оптимизированная для генерации кода на нескольких языках программирования. Эта модель достигает 68,3% в HumanEval, превосходя базовую модель Llama 3.1 8B Instruct (65,2% в эквивалентной оценочной настройке) на +3,1%. > Примечание: КПП-1500 выбран как оптимальный. Checkpoint-2000 показал ранние признаки переобучения. Meta сообщает, что Llama 3.1 8B Instruct набрала 72,6% на HumanEval. Однако независимые оценки (включая исследование Модала) неизменно показывают 65-66% при стандартных настройках оценки. Наша методология оценки соответствует этим независимым выводам. Разница связана с внутренней оценкой Meta, которая не была полностью раскрыта. Все наборы данных были тщательно отобраны для коммерческого лицензирования (Apache 2.0, MIT, CC-BY-4.0). Наборы данных ShareAlike (SA) или NonCommercial (NC) не использовались. — Графический процессор: NVIDIA A100 80 ГБ (Google Colab) — Время обучения: ~ 15 часов на 2000 шагов — Вывод: работает на RTX 3070 8 ГБ (4-битное квантование) — Последовательный стиль кода: обучение на тщательно подобранных высококачественных примерах кода — Многоязычная поддержка: Python, Java, JavaScript, SQL и другие — Обработка крайних случаев: специальный…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Языки программирования:
Python JavaScript Java SQL
Задача: Генерация текста
Автор: HemanthKari
Теги: llama, code, coding, llama-3.1, fine-tuned, python, java, javascript
Лайков: 6 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
