> OctoGeeX — это настроенная по инструкциям модель с 6B параметрами, созданная путем тонкой настройки CodeGeeX2 на CommitPackFT и OASST, как описано в документе OctoPack. — Репозиторий: bigcode-project/octopack — Бумага: OctoPack: Код настройки инструкций Большие языковые модели — Языки: более 100 языков программирования — OctoPack🐙🎒: Data CommitPack 4 ТБ GitHub для коммитов на 350 языках программирования CommitPackFT Фильтрованная версия CommitPack для высококачественных сообщений фиксации, напоминающих инструкции Модель OctoCoder Инструкция StarCoder (16B параметров) настроено на CommitPackFT + OASST Инструкция OctoGeeX CodeGeeX2 (6B параметров) настроена на CommitPackFT + OASST Оценка HumanEvalPack Расширение HumanEval от OpenAI для покрытия 3 сценариев на 6 языках Модель следует инструкциям, представленным во входных данных. Вы всегда должны начинать свой ввод с помощью «Вопрос:» и заканчивать его «Ответ:», например: «Вопрос: Напишите функцию на Python, которая выполняет пузырьковую сортировку.nnОтвет:» – Архитектура: модель GPT-2 с вниманием к нескольким запросам и целью «Заполнить середину» – Шаги: 250 тыс. предварительного обучения и 30 настроек инструкций – Токены предварительного обучения: 1 триллион предварительных тренировок и 2 миллиона…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bigcode
Теги: chatglm, codegeex, glm, custom_code, zh, en, model-index, endpoints_compatible
Лайков: 23 | Загрузок: 132
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
