Это модель с точной настройкой инструкций, ориентированная на задачу исправления кода. Исправление может включать в себя исправление ошибок, устранение уязвимостей безопасности, миграцию API и другие виды обслуживания кода. — Разработчик: codelion — Тип модели: Code Llama — Доработано на основе модели: CodeLlama-34b-Python Эта модель прошла очень ограниченное тестирование. Перед любым реальным развертыванием следует провести дополнительные испытания на безопасность. Модель была доработана на commitpackft — открытом наборе данных, состоящем из коммитов. Мы начали с коммитов для языка Python из набора данных, а затем отфильтровали все коммиты, связанные с исправлением ошибок. Точная настройка инструкций для выполнения инструкций на естественном языке, связанных с кодом. Мы загружаем квантованную базовую модель в 4 бита, а затем используем QLoRA для точной настройки параметров (PEFT) с Flash Attention. Модель обучалась 2 эпохи. Во время обучения использовалась следующая конфигурация квантования bitsandbytes: — quantmethod: bitsandbytes — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 -…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: patched-codes
Теги: llama, model-index, text-generation-inference
Лайков: 9 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
