Это обновление deberta-v2-xxlarge для реализации класса AutoModelForCausalLM, позволяющего генерировать текст. Эта реализация основана на нашей статье «BERT — это генеративные контекстные обучающиеся». Этот репозиторий также исправляет три ошибки в исходной HF-реализации DeBERTa: 1. Мы исправили неправильное имя выходных встраиваемых весов в файле контрольных точек; 2. Исправлена реализация расширенного декодера маски (EMD), основанного на оригинальном репозитории GitHub; 3. Зажимаем позиционные вложения, чтобы они работали с последовательностями большой длины. Если вы найдете DeBERTa полезным для вашей работы, процитируйте следующую статью:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ltg
Теги: deberta, fill-mask, custom_code, en
Лайков: 14 | Загрузок: 803
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
