Модель GPT2 со 124 млн параметров, обученная с использованием набора данных Fineweb-edu 10B с использованием https://github.com/karpathy/llm.c. Обучение заняло 20 часов на одном графическом процессоре 4090 (с ограничением 350 Вт), что дало следующие графики: Оценки с использованием Eleuther AI Harness, как описано в таблице openllmleaderboard, и сравнение с графиками, опубликованными для openai-community/gpt2.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: rhysjones
Теги: gpt2, en, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
