Это модель Карпати из проекта llm.c, преобразованная в формат HF для исследования производительности bfloat16. Обучающий прогон составил 150 миллиардов токенов, 1,5 эпохи на примере набора данных FineWeb объемом 100 миллиардов. На https://github.com/karpathy/llm.c ведется активная работа, поэтому я предлагаю следить за развитием событий там!
Модальности:
Генерация текста
Задача: Генерация текста
Автор: rhysjones
Теги: gpt2, custom_code, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 3
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
