Мы представляем контрольные точки раннего обучения OLMo 2 1B — набор частых контрольных точек на ранних этапах процесса обучения модели 1B. Мы публикуем эти контрольные точки в качестве ресурса для всех, кто заинтересован в изучении динамики раннего обучения. Чтобы просмотреть нашу официальную модель OLMo 2 1B, см. OLMo-2-0425-1B. Или просмотрите всю коллекцию моделей OLMo 2 здесь. Мы создали эти контрольные точки после первоначального обучения нашей модели OLMo 2 1B. Контрольные точки сохранялись каждые 1000 шагов на протяжении 37 000 шагов, начиная с шага 0 нашей модели OLMo-2-1B. Эти контрольные точки используют ту же архитектуру и начальную контрольную точку, что и официальный OLMo 2 1B, но они не идентичны исходному запуску из-за недетерминированного характера среды обучения LLM. Производительность может незначительно отличаться. Если вы хотите сравнить эти контрольные точки с нашим исходным OLMo 2 1B, вы можете сравнить контрольные точки, которые присутствуют в обоих репозиториях: — stage1-step0-tokens0B — Эта официальная контрольная точка OLMo 2 1B загружается в качестве отправной точки для этих контрольных точек — stage1-step10000-tokens21B — stage1-step20000-tokens42B — stage1-step30000-tokens63B Вы можете получить доступ к этим контрольным точкам, используя стандартное «Обнимающее лицо»…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: allenai
Теги: olmo2, en, endpoints_compatible
Лайков: 6 | Загрузок: 1,395
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
