Nous-Yarn-Llama-2-7b-64k — это современная языковая модель для длинного контекста, дополнительно обученная на данных длинного контекста в течение 400 шагов. Эта модель представляет собой исправленную версию оригинальной модели Flash Attention 2: https://huggingface.co/conceptofmind/Yarn-Llama-2-7b-64k. Обратите внимание, что для правильной работы этой модели требуется библиотека Flash Attention. Инструкции по установке см. в разделе «Использование модели». Начиная с базовой модели Llama 2, эта модель была дополнительно предварительно обучена на подмножестве набора данных PG19, что позволило ей эффективно использовать до 64 тысяч токенов контекста. — bloc97: Методы, бумага и оценки — @theemozilla: Методы, бумага и оценки — @EnricoShippole: Обучение моделей — honglu2875: Бумага и оценки Авторы хотели бы поблагодарить Stability AI, Carper AI и Eleuther AI за их щедрую поддержку значительных вычислительных ресурсов, которые позволили обучить эти модели и завершить это исследование. Мы также хотели бы напрямую поблагодарить Джонатана Тоу и Дакоту Махан за помощь в консультировании по использованию вычислительного кластера Stability AI. Кроме того, мы хотели бы поблагодарить a16z и PygmalionAI за предоставление ресурсов для проведения оценок и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NousResearch
Теги: llama, custom_code, text-generation-inference, endpoints_compatible
Лайков: 25 | Загрузок: 542
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
