> Сети искусственного гиппокампа (AHN) преобразуют память без потерь в сжатые представления фиксированного размера для долгоконтекстного моделирования. Память без потерь (например, кэш-значение внимания (KV)) хранит точную входную информацию, но увеличивается с длиной последовательности, что делает ее неэффективной для длинных последовательностей. Напротив, сжатая память (например, скрытое состояние RNN) сохраняет постоянный размер и предлагает фиксированные вычислительные затраты на входной токен, но это происходит за счет потери информации. Чтобы использовать преимущества обоих типов памяти, AHN постоянно преобразуют память без потерь за пределами скользящего окна внимания в сжатую форму. AHN могут быть созданы с помощью любой RNN-подобной архитектуры. Затем модель объединяет оба типа памяти для прогнозирования в длинных контекстах. В этом репозитории хранятся веса моделей для AHN. Инструкции по установке, использованию и дополнительную документацию можно найти в нашем репозитории GitHub. (а) Иллюстрация модели, дополненной искусственными сетями гиппокампа (AHN). В этом примере длина скользящего окна равна 3. Когда длина входной последовательности меньше или равна длине окна, модель работает идентично стандартному преобразователю. Для…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: ByteDance-Seed
Теги: qwen2, chat, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 45
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
