Мы доработали Gemma-7b, добавив дополнительно 0,7 миллиарда высококачественных токенов, связанных с кодом, на 3 эпохи. Для ускорения процесса обучения мы использовали DeepSpeed ZeRO 3 и Flash Attention 2. Он достигает 67,7 прохода @ 1 на HumanEval-Python. Эта модель работает с использованием формата инструкций Alpaca (за исключением системной подсказки). Иногда модель может допускать ошибки, создавать вводящее в заблуждение содержимое или с трудом справляться с задачами, не связанными с кодированием. Он прошел очень ограниченное тестирование. Перед любым реальным развертыванием следует провести дополнительные испытания на безопасность.
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: TechxGenus
Теги: gemma, code, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
