> Обратитесь к нашей новой вики GitHub, в которой подробно описаны наши усилия по созданию версии GitHub Copilot GPT-Neo-125M-APPS с открытым исходным кодом — все это GPT-Neo-125M, точно настроенный в наборе данных ПРИЛОЖЕНИЙ. Эта модель специализируется на решении задач программирования. Модель обучается на наборе данных Automated Programming Progress Standard (APPS). Набор данных состоит из 10 000 задач кодирования в общей сложности, с 131 836 тестовыми примерами для проверки решений и 232 444 решениями на основе истины, написанными людьми. Проблемы могут быть сложными, так как средняя длина задачи составляет 293,2 слова. Данные равномерно делятся на обучающие и тестовые наборы по 5000 задач в каждом. Эта модель тонко настроена с использованием большинства наборов данных ПРИЛОЖЕНИЙ, включая разделение тренировок и тестов, чтобы изучить влияние этой учебной задачи на производительность модели на другие показатели оценки синтеза кода. Модель, точно настроенная только в наборе поездов, можно найти здесь. Скрипт обучения, используемый для обучения этой модели, можно найти здесь. Обучение проводится в течение 5 эпох с использованием оптимизатора AdamW и более компактного распада графика обучения с 800 шагами разминки. Чтобы воспроизвести обучение, можно использовать эту команду с приведенным выше сценарием: Модель тонко настроена для решения…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: flax-community
Теги: jax, gpt_neo, code_synthesis, endpoints_compatible
Лайков: 2 | Загрузок: 179
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
