Это модель GPT-2, обученная в llm.c на 330 тысяч шагов (размер пакета 1 миллион) на FineWeb-EDU. Гораздо более подробная информация находится здесь: https://github.com/karpathy/llm.c/discussions/677. У этой модели непростая история. Я хотел обучить его на 400 тысяч шагов, т. е. (-x 400000), но позже во время обучения он стал нестабильным и взорвался примерно на шаге 330 тысяч. Поскольку вскоре я терял свою вычислительную квоту, я решил просто вернуться к контрольной точке 300 КБ, а затем вместо того, чтобы идти до 400 КБ, я начал линейно снижать температуру до 330 КБ. Это обошлось без происшествий и привело к созданию этой модели. Это самый длинный срок, на котором я обучал модель GPT-2, и к концу она достигает HellaSwag 62,7.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: karpathy
Теги: gpt2, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 150
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
