DeciLM-7B — это модель генерации текста только для декодера с 7,04 миллиардами параметров, выпущенная под лицензией Apache 2.0. На момент выпуска DeciLM-7B является самой эффективной моделью базового языка 7B в таблице лидеров Open LLM. Благодаря поддержке длины последовательности токенов 8 КБ эта высокоэффективная модель использует переменное внимание к групповым запросам (GQA) для достижения превосходного баланса между точностью и эффективностью вычислений. Архитектура модели была создана с использованием собственной технологии поиска нейронной архитектуры Deci — AutoNAC. Deci разработала и выпустила языковую модель DeciLM-7B — предварительно обученную высокоэффективную модель генерации текста с 7 миллиардами параметров. DeciLM-7B — это не только самая точная базовая модель 7B, но и превосходящая все модели в своем классе по пропускной способности, которая в 4,4 раза выше, чем у Mistral-7B. Также была выпущена версия инструкции DeciLM-7B-instruct. — Разработано: Deci. — Тип модели: DeciLM — это авторегрессионная языковая модель, использующая оптимизированную архитектуру преобразовательного декодера, включающую переменное внимание к групповым запросам. — Язык(и) (NLP): английский. — Лицензия: Apache 2.0 AutoNAC использовался для оптимизации выбора numkeyvalueheads GQA для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Deci
Теги: deci, conversational, custom_code, en
Лайков: 226 | Загрузок: 1,769
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
