TLDR | Обзор | Использование | Производительность LongLLaMA | Авторы | Цитирование | Лицензия | Благодарности Этот репозиторий содержит LongLLaMA-Instruct-3Bv1.1, предназначенный только для исследовательских целей. LongLLaMA построен на основе OpenLLaMA и настроен с использованием метода фокусированного трансформатора (FoT). Мы выпускаем меньший базовый вариант 3B (не настроенный на инструкции) модели LongLLaMA с разрешительной лицензией (Apache 2.0) и кодом вывода, поддерживающим более длинные контексты в Hugging Face. Наши веса моделей могут служить заменой LLaMA в существующих реализациях (для короткого контекста до 2048 токенов). Кроме того, мы предоставляем результаты оценки и сравнения с оригинальными моделями OpenLLaMA. Следите за дальнейшими обновлениями. Сфокусированный преобразователь: контрастное обучение масштабированию контекста (FoT) представляет собой простой метод наделения языковых моделей способностью обрабатывать контекст, состоящий, возможно, из миллионов токенов, при обучении на значительно более коротких входных данных. FoT позволяет подмножеству уровней внимания получать доступ к кешу памяти пар (ключ, значение) для увеличения длины контекста. Отличительным аспектом FoT является процедура обучения, основанная на контрастном обучении…
Модальности:
Генерация текста
Области применения:
Генерация кода Следование инструкциям
Задача: Генерация текста
Автор: syzymon
Теги: longllama, code, text-generation-inference, custom_code, model-index
Лайков: 25 | Загрузок: 31
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
