Nous-Yarn-Mistral-7b-64k — это современная языковая модель для длинного контекста, дополнительно обученная на данных длинного контекста в течение 1000 шагов с использованием метода расширения YaRN. Это расширение Mistral-7B-v0.1 и поддерживает контекстное окно токена 64 тыс. Чтобы использовать, передайте, например,trustremotecode=True при загрузке модели. Кроме того, вам нужно будет использовать последнюю версию преобразователей (до выхода 4.35). Краткие контекстные тесты, показывающие, что ухудшение качества минимально: — bloc97: методы, бумага и оценки — @theemozilla: методы, бумага, обучение модели и оценки — @EnricoShippole: обучение модели — honglu2875: бумага и оценки Авторы хотели бы поблагодарить LAION AI за поддержку вычислений для этой модели. Обучение проводилось на суперкомпьютере JUWELS.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NousResearch
Теги: mistral, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 52 | Загрузок: 1,475
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
