Это C2C Fuser, представленный в статье «Кэш-кэш: прямая семантическая связь между большими языковыми моделями». Технология Cache-to-Cache (C2C) позволяет моделям большого языка взаимодействовать напрямую через свои KV-кеши, минуя генерацию текста. Проецируя и объединяя KV-кеши между моделями, C2C достигает точности на 8,5–10,5 % выше, чем у отдельных моделей, и производительности на 3,0–5,0 % выше, чем при текстовой коммуникации, при этом задержка увеличивается в 2,0 раза. Вот как загрузить опубликованные веса C2C из коллекции Hugging Face и запустить пример вывода:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nics-efc
Теги: agent, communication, en, endpoints_compatible
Лайков: 6 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
