Yarn-Solar-10b-64k — это современная языковая модель для длинного контекста, дополнительно обученная на двух миллиардах токенов длинного контекста с использованием метода расширения YaRN. Это расширение SOLAR-10.7B-v1.0 и поддерживает контекстное окно токена 64 КБ. Чтобы использовать, передайте, например,trustremotecode=True при загрузке модели. Кроме того, вам нужно будет использовать последнюю версию преобразователей. Короткие контекстные тесты, показывающие, что ухудшение качества минимально: — bloc97: методы, бумага и оценки — @theemozilla: методы, бумага, обучение модели и оценки — @EnricoShippole: обучение модели — honglu2875: бумага и оценки Авторы хотели бы поблагодарить LAION AI за поддержку вычислений для этой модели. Обучение проводилось на суперкомпьютере JUWELS.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NousResearch
Теги: llama, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 16 | Загрузок: 1,676
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
