> Пожалуйста, обратитесь к нашей новой GitHub Wiki, в которой подробно описаны наши усилия по созданию версии GitHub Copilot с открытым исходным кодом. GPT-Neo-125M-Code-Clippy — это модель GPT-Neo-125M, настроенная с использованием причинно-языкового моделирования в нашей версии набора данных Code Clippy Data, имеющей дубликаты, которая была извлечена из общедоступных репозиториев Github (более подробная информация по предоставленной ссылке). Эта модель специализируется на автозаполнении методов на нескольких языках программирования. Как обсуждалось в документе OpenAI Codex, мы изменили модель и токенизатор GPT-Neo, чтобы учесть дополнительные символы пробелов. В частности, мы добавляем следующие токены [«tt», » «, » «, » «] и, поскольку все они связаны с отступом, мы инициализируем слой внедрения этих токенов с теми же весами, что и токен t, уже присутствующий в модели, в надежде, что модель научится быстрее связывать эти пробельные символы с отступом. Скрипт, который автоматически это сделает, можно найти здесь. Сценарий обучения, используемый для обучения этой модели, можно найти здесь. Чтобы воспроизвести обучение, можно использовать эту команду с приведенным выше скриптом: Модель настраивается на текстовых файлах из репозиториев GitHub (в основном…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: flax-community
Теги: jax, tensorboard, gpt_neo, endpoints_compatible
Лайков: 9 | Загрузок: 2,282
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
