MistralLite — это доработанная языковая модель Mistral-7B-v0.1 с расширенными возможностями обработки длинного контекста (до 32 тыс. токенов). Благодаря использованию адаптированного вращающегося встраивания и скользящего окна во время тонкой настройки MistralLite может значительно лучше выполнять несколько длинных задач по извлечению контекста и ответам, сохраняя при этом простую структуру исходной модели. MistralLite полезен для таких приложений, как поиск длинных контекстных строк и тем, обобщение, ответы на вопросы и т. д. MistralLite можно развернуть на одном экземпляре AWS g5.2x с конечной точкой Sagemaker Huggingface Text Generation Inference (TGI), что делает его подходящим для приложений, которым требуется высокая производительность в средах с ограниченными ресурсами. Вы также можете обслуживать модель MistralLite напрямую, используя докер-контейнеры TGI. Кроме того, MistralLite поддерживает другие способы обслуживания, такие как vLLM, и вы можете использовать MistralLite в Python, используя преобразователи HuggingFace и библиотеку FlashAttention-2. MistralLite похож на Mistral-7B-Instruct-v0.1, их сходства и различия суммированы ниже: С момента выпуска Mistral-7B-Instruct-v0.1 модель становилась все более популярной, потому что…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: amazon
Теги: mistral, text-generation-inference
Лайков: 435 | Загрузок: 14,434
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
