> Искусственные сети гиппокампа (AHN) преобразуют память без потерь в сжатые представления фиксированного размера для моделирования длинного контекста. Память без потерь (например, кэш ключа-значения внимания (KV)) хранит точную входную информацию, но растет с длиной последовательности, что делает ее неэффективной для длинных последовательностей. Напротив, сжатая память (например, скрытое состояние RNN) сохраняет постоянный размер и предлагает фиксированные вычислительные затраты на входной маркер, но это происходит за счет потери информации. Чтобы использовать преимущества обоих типов памяти, AHN постоянно преобразуют память без потерь за пределами скользящего окна внимания в сжатую форму. AHN могут быть инстанцированы с любыми RNN-подобными архитектурами. Затем модель интегрирует оба типа памяти для прогнозирования в длинных контекстах. В этом репозитории размещены веса модели для AHN. Для установки, инструкций по использованию и дополнительной документации посетите наш репозиторий GitHub. (a) Иллюстрация модели, дополненной сетями искусственного гиппокампа (AHN). В этом примере длина скользящего окна равна 3. Когда длина входной последовательности меньше или равна длине окна, модель работает аналогично стандартному трансформатору. Для…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: ByteDance-Seed
Теги: qwen2, chat, en, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 114
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
