Реализация и репликация gpt-oss-20b с открытым исходным кодом 💻 Репозиторий GitHub (Код) Недавно OpenAI выпустила свою модель gpt-oss-20b, предоставив сообществу мощные модели с открытым исходным кодом. Хотя веса доступны, кода для обучения такой модели с нуля — части с открытым исходным кодом — не было. Нашей целью было создать полную, чистую и высокопроизводительную базу кода, которая копирует архитектуру gpt-oss-20b и позволяет любому обучать подобную модель с нуля. Код — это основной вклад, созданный для расширения возможностей исследователей, разработчиков и энтузиастов. >> Изучите полный код обучения и вывода с открытым исходным кодом на GitHub. На этой карточке модели размещены веса для модели с 20B параметрами, обученной с использованием нашей базы кода с открытым исходным кодом. Это служит доказательством того, что наша реализация правильна, стабильна и способна обучать модели в большом масштабе. > [!ВАЖНО] > Эта модель является контрольной точкой на самом раннем этапе обучения — всего 1900 итераций — и служит доказательством концепции. Он был обучен на наборе данных TinyStories для проверки нашего кода на мощной настройке графического процессора 5x H100. Пока он учится создавать простые истории, его возможности ограничены из-за…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: omunaman
Теги: gpt_oss_like, gpt-oss, replication, 20b, tinystories, FSDP, endpoints_compatible
Лайков: 5 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
