Эта модель, представленная в разделе «Масштабирование контекста, а не параметров: обучение компактной языковой модели 7B для эффективной обработки длинного контекста», представляет собой LLM с длинным контекстом, который поддерживает 524 288 токенов в своем контексте. MegaBeam-Mistral-7B-512k был обучен на Mistral-7B Instruct-v0.2 и может быть развернут с использованием различных обслуживающих платформ, таких как vLLM и конечная точка DJL Amazon SageMaker. Пожалуйста, обратитесь к нашему GitRepo за примерами развертывания и вывода. Мы оценивали MegaBeam-Mistral-7B-512k в трех долгосрочных тестах. Для каждого теста мы развернули модель MegaBeam-Mistral-7B-512k с vLLM (v0.5.1) на экземпляре EC2 и получили ответы LLM через API OpenAI, предоставленный vLLM. Arize-ai NIAH варьирует целевое случайное число и вводит случайный город для каждого вопроса, требуя, чтобы LLM извлекал случайное число из различных выбранных контекстных мест. MegaBeam-Mistral-7B-512k набрал 100 % в этом тесте NIAH, как показано на этом графике. 2. ЛИНЕЙКА: Каков реальный размер контекста ваших языковых моделей с длинным контекстом? Тест RULER оценивает языковые модели с длинным контекстом по четырем категориям задач — поиск, многошаговая трассировка, агрегирование и ответы на вопросы — с общим количеством…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: aws-prototyping
Теги: mistral, conversational, text-generation-inference
Лайков: 53 | Загрузок: 8,467
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
