Это модель RetNet, сопровождающая документ Cross-Architecture Transfer Learning for Linear-Cost Inference Transformers, В этой работе мы предложили не обучать новые модели Linear-Cost Inference (например, RetNet) с нуля, а передавать общие весовые компоненты из других PTLM. Вложения ввода/вывода модели, веса MLP, нормы слоя, проекции вывода внимания ($W_O$) были перенесены из pythia-410m. Для получения более подробной информации, пожалуйста, обратитесь к документу. — Разработано: NucleusAI, Sehyun Choi — Тип модели: RetNet
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NucleusAI
Теги: retnet, custom_code, en
Лайков: 3 | Загрузок: 37
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
