DeciLM-7B-instruct — это модель выполнения кратких инструкций. Он создан путем тонкой настройки LoRA на основе набора данных SlimOrca. DeciLM-7B-instruct — это производная от недавно выпущенной языковой модели DeciLM-7B, предварительно обученной высокоэффективной генеративной текстовой модели с 7 миллиардами параметров. DeciLM-7B-instruct — одна из лучших моделей инструкций 7B, полученная с помощью простой тонкой настройки LoRA без использования методов оптимизации предпочтений, таких как RLHF и DPO. — Разработано: Deci. — Тип модели: DeciLM — это авторегрессионная языковая модель, использующая оптимизированную архитектуру преобразовательного декодера, включающую переменное внимание к групповым запросам. — Язык(и) (NLP): Английский. — Лицензия: Apache 2.0 AutoNAC использовался для оптимизации выбора numkeyvalueheads GQA для каждого уровня модели. — Блог: Технический блог DeciLM-7B — Демонстрация: DeciLM-7B-instruct Демонстрация — Блокнот точной настройки: Блокнот точной настройки DeciLM-7B — Блокнот для генерации текста: Блокнот для генерации текста DeciLM-7B-instruct Модель предназначена для коммерческого и исследовательского использования на английском языке. Ниже приведены результаты оценки DeciLM-7B и DeciLM-7B-instruct. — Чтобы воспроизвести результаты тестов Hugging Face, вы можете использовать этот код…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Deci
Теги: deci, conversational, custom_code, en
Лайков: 95 | Загрузок: 4,466
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
