DeciLM 6B — это модель генерации текста только для декодера с 5,7 миллиардами параметров. Благодаря контекстному окну из 4096 токенов высокоэффективная модель использует переменное внимание к групповым запросам (GQA) для достижения оптимального баланса между производительностью и эффективностью вычислений. Архитектура модели была создана с использованием собственной технологии Deci на основе поиска нейронной архитектуры AutoNAC. Deci разработала и публично выпустила большую языковую модель DeciLM 6B — предварительно обученную высокоэффективную генеративную текстовую модель с 5,7 миллиардами параметров. DeciLM 6B опережает модели с предварительной тренировкой в своем классе, обеспечивая производительность в 15 раз выше, чем у Llama 2 7B. DeciLM-6B был дополнительно доработан с использованием LoRA для выполнения инструкций в подмножестве набора данных OpenOrca, в результате чего был создан DeciLM 6B-Instruct — разработан: Deci — Тип модели: DeciLM — это авторегрессионная языковая модель, использующая оптимизированную архитектуру декодера преобразователя, включающую внимание к переменным групповым запросам. — Язык(и) (NLP): Английский. — Лицензия: Лицензионное соглашение сообщества Llama 2 с расширением Deci в отношении поставщиков услуг хостинга. AutoNAC использовался для оптимизации выбора numkeyvalueheads GQA для каждого уровня…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Deci
Теги: deci, Deci AI, DeciLM, custom_code, en, model-index
Лайков: 232 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
