Авторы хотели бы поблагодарить LAION AI за поддержку вычислений для этой модели. Обучение проводилось на суперкомпьютере JUWELS. Nous-Yarn-Llama-2-70b-32k — это современная языковая модель для длинного контекста, дополнительно обученная на данных длинного контекста в течение 400 шагов с использованием метода расширения YaRN. Это расширение Llama-2-70b-hf и поддерживает контекстное окно размером 32 тыс. токенов. Чтобы использовать, передайте, например,trustremotecode=True при загрузке модели. Кроме того, вам нужно будет использовать последнюю версию преобразователей (до выхода 4.35). Короткие контекстные тесты, показывающие, что ухудшение качества минимально: — bloc97: методы, бумага и оценки — @theemozilla: методы, бумага, обучение модели и оценки — @EnricoShippole: обучение модели — honglu2875: бумага и оценки
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NousResearch
Теги: llama, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 37 | Загрузок: 160
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
