CAT-LM — это языковая модель в стиле GPT с 2,7 миллиардами параметров, обученная на корпусе проектов Python и Java (около 260 ГБ). Он поддерживает максимальную длину последовательности 8192 токена. Мы используем новый сигнал предварительной подготовки, который явно учитывает сопоставление между кодом и тестовыми файлами, если они доступны. CAT-LM: Обучение языковых моделей на согласованном коде и тестах Никита Рао, Куш Джайн, Ури Алон, Клер Ле Гу и Винсент Дж. Хеллендорн. 38-я Международная конференция IEEE/ACM по автоматизированной разработке программного обеспечения (ASE 2023). Для получения более подробной информации см. https://github.com/RaoNikitha/CAT-LM.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nikitharao
Теги: gpt_neox, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
