1. Краткое описание модели 2. Использование 3. Ограничения 4. Обучение 5. Лицензия 6. Цитирование Модели SantaCoder представляют собой серию моделей с 1,1 млрд параметров, обученных на подмножестве Python, Java и JavaScript пакета The Stack (v1.1) (без учета запросов на отказ). Основная модель использует внимание к нескольким запросам, была обучена с использованием почти дедупликации и соотношения комментариев к коду в качестве критериев фильтрации и с использованием цели «Заполнить посередине». Кроме того, существует несколько моделей, которые были обучены на наборах данных с различными параметрами фильтров, а также с вариациями архитектуры и целей. — Репозиторий: bigcode/Megatron-LM — Веб-сайт проекта: bigcode-project.org — Документ: 🎅SantaCoder: Не тянитесь к звездам! 🌟 — Точка контакта: contact@bigcode-project.org — Языки: Python, Java и JavaScript Окончательная модель является наиболее эффективной моделью и обучалась в два раза дольше (236B токенов), чем другие. Эта контрольная точка является моделью по умолчанию и доступна в основной ветке. Все остальные контрольные точки находятся на отдельных ветках с соответствующими названиями. Модель была обучена на коде GitHub. По существу, это не модель инструкций и не команды типа «Напишите функцию, вычисляющую квадратный корень». не работают хорошо. Вам следует сформулировать…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: olivierdehaene
Теги: gpt2, custom_code, code, model-index, text-generation-inference
Лайков: 8 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
