> OctoCoder — это настроенная по инструкциям модель с 15,5 млрд параметров, созданная путем точной настройки StarCoder на CommitPackFT и OASST, как описано в документе OctoPack. — Репозиторий: bigcode-project/octopack — Документ: OctoPack: Код настройки инструкций Большие языковые модели — Языки: более 80 языков программирования — OctoPack🐙🎒: Data CommitPack 4 ТБ GitHub фиксирует данные для 350 языков программирования CommitPackFT Фильтрованная версия CommitPack для высококачественных сообщений фиксации, напоминающих инструкции Модель OctoCoder StarCoder (параметры 16B) настроены инструкции на CommitPackFT + OASST Инструкция OctoGeeX CodeGeeX2 (6B параметров) настроена на CommitPackFT + OASST Evaluation HumanEvalPack Расширение HumanEval от OpenAI для покрытия 3 сценариев на 6 языках. Модель следует инструкциям, представленным во входных данных. Вы всегда должны начинать свой ввод с помощью «Вопрос:» и заканчивать его «Ответ:», например: «Вопрос: Напишите функцию на Python, которая выполняет пузырьковую сортировку.nnОтвет:» – Архитектура: модель GPT-2 с вниманием к нескольким запросам и целью «Заполнить середину» – Шаги: 250 тыс. предварительного обучения и 30 настроек инструкций – Токены предварительного обучения: 1 триллион предварительных тренировок и 2 миллиона…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: bigcode
Теги: code, model-index, endpoints_compatible
Лайков: 69 | Загрузок: 161
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
