Buddhi-128k-Chat — это модель первого чата общего назначения с окном длины контекста 128 КБ. Он тщательно настроен на Mistral 7B Instruct и оптимизирован для обработки расширенного контекста длиной до 128 000 токенов с использованием инновационной технологии YaRN (еще одно расширение веревки). Это усовершенствование позволяет Buddhi сохранять более глубокое понимание контекста в длинных документах или разговорах, что делает его особенно подходящим для задач, требующих длительного сохранения контекста, таких как всестороннее обобщение документов, создание подробного повествования и сложные ответы на вопросы. Модель Buddhi-128K-Chat доработана на базе базовой модели Mistral-7B Instruct. Мы выбрали Mistral 7B Instruct v0.2 в качестве базовой модели из-за ее превосходных логических способностей. Архитектура модели Mistral-7B включает в себя такие функции, как внимание к групповым запросам и токенизатор BPE с резервным байтом. Изначально эта модель имеет 32 768 вложений максимальной позиции. Чтобы увеличить размер контекста до 128 КБ, нам нужно было изменить позиционные встраивания, и именно здесь в игру вступает YaRN. В нашем подходе мы использовали метод с поддержкой NTK, который рекомендует альтернативные методы интерполяции для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: aiplanet
Теги: mistral, conversational, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 18 | Загрузок: 163
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
