Мы доработали Yi-9B, добавив дополнительно 0,5 миллиарда высококачественных токенов, связанных с кодом, на 3 эпохи. Для ускорения процесса обучения мы использовали DeepSpeed ZeRO 3 и Flash Attention 2. Он достигает 69,5 прохода @ 1 на HumanEval-Python. Эта модель работает с использованием формата инструкций Alpaca (за исключением системной подсказки). Иногда модель может допускать ошибки, создавать вводящее в заблуждение содержимое или с трудом справляться с задачами, не связанными с кодированием. Он прошел очень ограниченное тестирование. Перед любым реальным развертыванием следует провести дополнительные испытания на безопасность.
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: TechxGenus
Теги: llama, code, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
