Версия модели Мистраль 7Б — доработанная для суммирования до 64к токенов контекста. См. ветку AWQ для файлов AWQ. К сожалению, AWQ пока не поддерживается через TGI для моделей Mistral. Партнерская ссылка Trelis Runpod (помогает поддерживать канал Trelis на YouTube) Модель большого языка Mistral-7B-Instruct-v0.1 (LLM) представляет собой тонко настроенную версию генеративной текстовой модели Mistral-7B-v0.1 с использованием различных общедоступных наборов данных разговоров. Для получения полной информации об этой модели, пожалуйста, прочитайте нашу статью и опубликуйте сообщение в блоге. Чтобы использовать точную настройку инструкций, ваше приглашение должно быть окружено токенами [INST] и [/INST]. Самая первая инструкция должна начинаться с идентификатора начала предложения. Следующие инструкции не должны. Генерация помощника будет завершена по идентификатору токена конца предложения. Этот формат доступен в виде шаблона чата с помощью метода applychattemplate(): Эта модель инструкций основана на Mistral-7B-v0.1, модели преобразователя со следующими вариантами архитектуры: — Внимание сгруппированного запроса — Внимание скользящего окна — Резервный байтовый токенизатор BPE Установка преобразователей из исходного кода должна решить проблему установки pip…
Модальности:
Генерация текста
Области применения:
Диалог / чат Суммаризация Следование инструкциям
Задача: Генерация текста
Автор: Trelis
Теги: mistral, finetuned, summarization, summarize, 64k, conversational, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
