winglian/mistral-denseformer-7b - Каталог нейросетей
Генерация текста

winglian/mistral-denseformer-7b

Добавлено:
winglian/mistral-denseformer-7b

Это реализация Mistral-7B-v0.1 в DenseFormer. Подробности о DenseFormer описаны в статье. Для загрузки этой модели вам нужно будет использоватьtrustremotecode=True. Эта модель потребует дополнительной предварительной подготовки, чтобы увидеть улучшения, указанные в статье DenseFormer. Согласно статье: Модель большого языка Mistral-7B-v0.1 (LLM) представляет собой предварительно обученную генеративную текстовую модель с 7 миллиардами параметров. Мистраль-7Б-v0.1 превосходит Llama 2 13B во всех протестированных нами тестах. Для получения полной информации об этой модели, пожалуйста, прочитайте нашу статью и опубликуйте сообщение в блоге. Mistral-7B-v0.1 — это модель преобразователя со следующими вариантами архитектуры: — Внимание по групповому запросу — Внимание по скользящему окну — Резервный байтовый токенизатор BPE Убедитесь, что вы используете стабильную версию Transformers, 4.34.0 или новее. Mistral 7B — это предварительно обученная базовая модель и поэтому не имеет каких-либо механизмов модерации. Альбер Цзян, Александр Саблеролл, Артур Менш, Крис Бэмфорд, Девендра Сингх Чаплот, Диего де лас Касас, Флориан Брессан, Джанна Лендьель, Гийом Лампле, Лелио Ренар Лаво, Люсиль Солнье, Мари-Анн Лашо, Пьер Сток, Тевен Ле Скао, Тибо Лавриль, Томас Ван, Тимоти Лакруа, Уильям Эль Саид.

Модальности:
Генерация текста


Задача: Генерация текста
Автор: winglian
Теги: mistral_denseformer, pretrained, custom_code, en
Лайков: 6  |  Загрузок: 31

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.