This is a gpt2 model, finetuned on the Wikitext-103 dataset. It achieves a perplexity of 14.84 using a «sliding window» context, using the runclm.py` script at https://github.com/neulab/knn-transformers. This model was released as part of the paper «Neuro-Symbolic Language Modeling with Automaton-augmented Retrieval» (ICML’2022).
Модальности:
Генерация текста
Задача: Генерация текста
Автор: neulab
Теги: gpt2, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 10,412
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.