Мы доработали CodeLlama-34B и CodeLlama-34B-Python на внутреннем наборе данных Phind, которые достигли 67,6% и 69,5% проходимости @1 на HumanEval соответственно. GPT-4 достигает 67%. Мы применили методологию обеззараживания OpenAI к нашему набору данных, чтобы обеспечить достоверность результатов. Эта модель доработана на основе CodeLlama-34B-Python и достигает 69,5% проходимости @1 на HumanEval. Мы тщательно настроили собственный набор данных, содержащий около 80 тысяч высококачественных задач по программированию и их решений. Этот набор данных состоит из пар инструкция-ответ вместо примеров завершения кода, что структурно отличает его от HumanEval. Модели Phind обучались в течение двух эпох, всего было показано около 160 тыс. примеров. LoRA не использовался — обе модели имеют встроенную настройку. Мы использовали DeepSpeed ZeRO 3 и Flash Attention 2 для обучения этих моделей за три часа на 32 графических процессорах A100-80 ГБ. Мы использовали длину последовательности 4096 токенов. Обратите внимание, что эта модель в некоторой степени настроена с помощью инструкций, но не с помощью чата. Не пытайтесь использовать разметку чата Llama с этой моделью. Вместо этого просто скажите ему, что вы хотите, и добавьте «n:» в конце своей задачи. Эта модель прошла очень ограниченное тестирование. Дополнительные испытания на безопасность должны быть проведены перед любыми реальными…
Модальности:
Генерация текста
Области применения:
Генерация кода
Языки программирования:
Python
Задача: Генерация текста
Автор: Phind
Теги: llama, code llama, model-index, text-generation-inference, endpoints_compatible
Лайков: 252 | Загрузок: 995
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
