DeciCoder 1B — это модель завершения кода только для декодера с 1 миллиардом параметров, обученная на подмножествах Python, Java и Javascript набора обучающих данных Starcoder. Модель использует внимание к групповым запросам и имеет контекстное окно из 2048 токенов. Он был обучен с использованием обучающей цели «Заполнение посередине». Архитектура модели была создана с помощью собственной технологии Deci на основе поиска нейронной архитектуры AutoNAC. — Разработчик: Deci. — Тип модели: DeciCoder — это авторегрессионная языковая модель, основанная на архитектуре преобразовательного декодера и использующая внимание к групповым запросам. — Язык(и): Python, Java, JavaScript — Лицензия: контрольные точки модели лицензируются в соответствии с Apache 2.0 — Уровень декодера: групповые запросы Внимание Эйнсли и др., 2023 г. — Встраивание позиций: встраивание ротационных позиций Су и др., 2021 г. Модель предназначена для выполнения однострочного/многострочного завершения кода из контекстного окна, содержащего до 2048 тыс. токенов. Это не модель инструкций, и команды типа «Напишите функцию, которая вычисляет абсолютное значение целого числа» не дадут желаемых результатов. Более эффективный подход — оформить инструкции в стиле комментариев исходного кода (например, # эта функция вычисляет абсолютное…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: Deci
Теги: text generation, Deci AI, DeciCoder, custom_code, model-index
Лайков: 248 | Загрузок: 1,424
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.