Это расширенная версия Motif-2-12.7B-Instruct. Подробная информация будет опубликована позже. PR-заявление о добавлении поддержки модели Motif в официальный пакет vLLM в настоящее время находится на рассмотрении. А пока, чтобы использовать нашу модель с vLLM, используйте следующий образ контейнера. Наша модель поддерживает длину последовательности до 64 000 токенов. Для максимальной производительности мы настоятельно рекомендуем использовать приведенные ниже параметры. : Активирует полный захват графа cuda : Применяет пряжу для поддержки длины контекста 128 КБ : Включает вызов инструментов : Включает бюджет мышления на основе соотношения и автоостановку на основе повторений. Модель ориентируется на то, чтобы думать о токенах, используя остальную часть контекстного окна для генерации ответа: анализ выводов рассуждений.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Motif-Technologies
Теги: Motif, text-generation-inference, conversational, custom_code, en, ko
Лайков: 41 | Загрузок: 73
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
