Nous-Yarn-Mistral-7b-128k — это современная языковая модель для длинного контекста, дополнительно обученная на данных длинного контекста для 1500 шагов с использованием метода расширения YaRN. Это расширение Mistral-7B-v0.1 и поддерживает контекстное окно размером 128 тыс. токенов. Чтобы использовать, передайте, например,trustremotecode=True при загрузке модели. Кроме того, вам нужно будет использовать последнюю версию преобразователей (до выхода 4.35). Короткие контекстные тесты, показывающие, что ухудшение качества минимально: — bloc97: Методы, бумага и оценки — @theemozilla: Методы, бумага, обучение модели и оценки — @EnricoShippole: Обучение модели — honglu2875: Бумага и оценки Авторы хотели бы поблагодарить LAION AI за поддержку вычислений для этой модели. Обучение проводилось на суперкомпьютере JUWELS.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NousResearch
Теги: mistral, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 571 | Загрузок: 1,660
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
