Это модель GPT2 774M, обученная на коде C/C++ из 10 000 самых популярных пакетов Debian по данным конкурса популярности Debian. Исходные файлы были дедуплицированы с использованием процесса, аналогичного предварительной обработке OpenWebText (по сути, хеш-код с учетом местоположения для обнаружения почти дубликатов). Первоначально модель была обучена с использованием NVIDIA Megatron-LM, но была преобразована в Huggingface. Обратите внимание, что токенизатор — это не стандартный словарь GPT2 BPE, а тот, который был обучен для этого набора данных; токенизатор также доступен из этого репозитория. Обработанный набор данных (в формате JSON) можно найти здесь: csrcdatasetlarge.json.gz. Эта модель использовалась для создания фрагментов веб-сайта. Этот код не существует.
Модальности:
Генерация текста
Области применения:
Генерация кода Программирование
Задача: Генерация текста
Автор: moyix
Теги: gpt2, programming, causal-lm, code, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
