DeciCoder-6B — это модель завершения кода только для декодера с 6 миллиардами параметров, обученная на подмножестве Python, Java, Javascript, Rust, C++, C и C# набора обучающих данных Starcoder. Модель использует переменную Grouped Query Attention и имеет контекстное окно из 2 тысяч токенов. Он был обучен с использованием обучающей цели «Заполнение посередине». Архитектура модели была создана с помощью собственной технологии Deci на основе поиска нейронной архитектуры AutoNAC. — Разработано: Deci. — Тип модели: DeciCoder-6B — это авторегрессионная языковая модель, основанная на архитектуре преобразовательного декодера и использующая переменное внимание к групповым запросам. — Язык(и): Python, Java, JavaScript, Rust, C++, C, C#, Go — Лицензия: контрольные точки модели лицензируются под Apache 2.0 — Сообщение в блоге: Представляем DeciCoder-6B: код LLM, разработанный для точности и экономичности в масштабе — Учебное пособие: запуск DeciCoder-6B в Qualcomm Cloud AI 100 — Блокнот Google Colab — Запуск DeciCoder на AWS Экземпляры DL2q с использованием SDK Qualcomm Cloud AI Platform. Вопросы: не стесняйтесь обращаться к нам через наше сообщество Discord! — Уровень декодера: внимание к сгруппированным запросам переменных — Встраивание позиций: встраивание вращающихся позиций Su et al., 2021 Модель имеет…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: Deci
Теги: deci, custom_code
Лайков: 33 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
