1. Краткое описание модели 2. Использование 3. Ограничения 4. Обучение 5. Лицензия 6. Цитирование Модели SantaCoder представляют собой серию моделей с 1,1 млрд параметров, обученных на подмножестве Python, Java и JavaScript пакета The Stack (v1.1) (без учета запросов на отказ). Основная модель использует внимание к нескольким запросам, контекстное окно из 2048 токенов, и была обучена с использованием почти дедупликации и соотношения комментариев к коду в качестве критериев фильтрации и с использованием цели «Заполнить посередине». Кроме того, существует несколько моделей, которые были обучены на наборах данных с различными параметрами фильтров, а также с вариациями архитектуры и целей. — Репозиторий: bigcode/Megatron-LM — Веб-сайт проекта: bigcode-project.org — Документ: 🎅SantaCoder: Не тянитесь к звездам! 🌟 — Точка контакта: contact@bigcode-project.org — Языки: Python, Java и JavaScript Окончательная модель является наиболее эффективной моделью и обучалась в два раза дольше (236B токенов), чем другие. Эта контрольная точка является моделью по умолчанию и доступна в основной ветке. Все остальные контрольные точки находятся на отдельных ветках с соответствующими названиями. Модель была обучена на коде GitHub. Как таковая, это не модель инструкций и команд типа «Напишите функцию, которая вычисляет квадратный корень».…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: bigcode
Теги: gpt2, custom_code, code, model-index, text-generation-inference, endpoints_compatible
Лайков: 335 | Загрузок: 3,064
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
