— Опробуйте модель на  — Подробности о модели из нашего блога здесь!  Тесты для моделей QRWKV-QwQ-32B и QRWKV-72B следующие: > Примечание. Все тесты, кроме MMLU, являются нулевыми и имеют версию 1. Для MMLU это версия 2. Этот репозиторий содержит описанную модель. в статье RADLADS: быстрая дистилляция внимания к линейным декодерам внимания в масштабе. Пожалуйста, проверьте репозиторий Github по адресу https://github.com/dmis-lab/Monet для получения дополнительной информации. Поскольку в данный момент эта модель не используется на трансформаторах, вам придется включить удаленный код с помощью следующей строки. Помимо включения удаленного кода, вы можете запускать модель как обычную модель с такими преобразователями. Линейные модели предлагают многообещающий подход к значительному сокращению вычислительных затрат в масштабе, особенно для контекстов большой длины. Обеспечивает более чем 1000-кратное снижение затрат на логические выводы, сокращает время на мышление и обеспечивает более широкую доступность ИИ. Как продемонстрировал наш QRWKV-72B-Preview и предыдущие модели, такие как QRWKV6-32B Instruct Preview, мы успешно преобразовали…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: featherless-ai
Теги: rwkv6qwen2, conversational, custom_code
Лайков: 30 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
