TLDR | Обзор | Использование | Производительность LongLLaMA | Авторы | Цитирование | Лицензия | Благодарности Этот репозиторий содержит исследовательскую предварительную версию LongLLaMA, большой языковой модели, способной обрабатывать длинные контексты из 256 тысяч токенов или даже больше. LongLLaMA построен на основе OpenLLaMA и настроен с использованием метода фокусированного трансформатора (FoT). Мы выпускаем меньший вариант 3B модели LongLLaMA с разрешительной лицензией (Apache 2.0) и кодом вывода, поддерживающим более длинные контексты в Hugging Face. Наши веса моделей могут служить заменой LLaMA в существующих реализациях (для короткого контекста до 2048 токенов). Кроме того, мы предоставляем результаты оценки и сравнения с оригинальными моделями OpenLLaMA. Следите за дальнейшими обновлениями. Сфокусированный преобразователь: контрастное обучение масштабированию контекста (FoT) представляет собой простой метод наделения языковых моделей способностью обрабатывать контекст, состоящий, возможно, из миллионов токенов, при обучении на значительно более коротких входных данных. FoT позволяет подмножеству уровней внимания получать доступ к кешу памяти пар (ключ, значение) для увеличения длины контекста. Отличительной особенностью FoT является процедура обучения,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: syzymon
Теги: longllama, text-generation-inference, custom_code
Лайков: 120 | Загрузок: 44
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
