Мы доработали starcoder2-15b, добавив дополнительно 0,7 миллиарда высококачественных токенов, связанных с кодом, на 3 эпохи. Для ускорения процесса обучения мы использовали DeepSpeed ZeRO 3 и Flash Attention 2. Он достигает 77,4 прохода @ 1 на HumanEval-Python. Эта модель работает с использованием формата инструкций Alpaca (за исключением системной подсказки). Иногда модель может допускать ошибки, создавать вводящее в заблуждение содержимое или с трудом справляться с задачами, не связанными с кодированием. Он прошел очень ограниченное тестирование. Перед любым реальным развертыванием следует провести дополнительные испытания на безопасность.
Модальности:
Генерация текста
Области применения:
Генерация кода Следование инструкциям
Задача: Генерация текста
Автор: TechxGenus
Теги: starcoder2, code, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
