OLMo 1B, июль 2024 г., — это последняя версия исходной модели OLMo 1B, обеспечивающая увеличение HellaSwag на 4,4 балла, помимо других улучшений оценок, за счет улучшенной версии набора данных Dolma и поэтапного обучения. Эта версия предназначена для прямого использования с HuggingFace Transformers, начиная с версии 4.40. OLMo — это серия открытых языковых моделей, предназначенная для изучения языковых моделей. Модели OLMo обучаются на наборе данных Dolma. Мы публикуем весь код, контрольные точки, журналы и детали, необходимые для обучения этих моделей. [Скоро] Мы выпустим множество контрольных точек для этих моделей, на каждые 1000 шагов обучения. Соглашение об именах — StepXXX-tokensYYYB. Чтобы загрузить конкретную версию модели с помощью HuggingFace, просто добавьте аргумент «revision»: все версии/ветви перечислены в файле «revisions.txt». Или вы можете получить доступ ко всем версиям моделей с помощью следующего фрагмента кода: — Разработано: Институт искусственного интеллекта Аллена (AI2) — Поддерживается: Databricks, Институтом изучения естественного и искусственного интеллекта Кемпнера при Гарвардском университете, AMD, CSC (суперкомпьютер Lumi), UW — Тип модели: авторегрессионная языковая модель в стиле Transformer. — Язык(и) (НЛП): Английский -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: allenai
Теги: olmo, en, endpoints_compatible
Лайков: 24 | Загрузок: 5,403
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
