Модель большого языка Tamil-Mistral-7B-v0.1 (LLM) представляет собой предварительно обученную генеративную текстовую модель, обученную на основе базовой модели Mistral с 7 миллиардами параметров. Это расширяет версию возможностей токенизации за счет увеличения количества тамильских токенов на 20 тысяч. Кроме того, он был предварительно обучен на 1,19 миллионах тамильских документов, полученных из madlad-400 (тамильский) MADLAD-400 (многоязычный проверенный набор данных: низкий уровень ресурсов и документов). Для получения полной информации об этой модели, пожалуйста, прочитайте нашу статью и опубликуйте сообщение в блоге. Mistral-7B-v0.1 — это модель преобразователя со следующими вариантами архитектуры: — Внимание по групповому запросу — Внимание по скользящему окну — Резервный байтовый токенизатор BPE Убедитесь, что вы используете стабильную версию Transformers, 4.34.0 или новее. Mistral 7B — это предварительно обученная базовая модель и поэтому не имеет каких-либо механизмов модерации.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Hemanth-thunder
Теги: mistral, pretrained, ta, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 159
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
