OLMo — это серия открытых языковых моделей, предназначенная для изучения языковых моделей. Модели OLMo обучаются на наборе данных Dolma. Мы публикуем весь код, контрольные точки, журналы и детали, необходимые для обучения этих моделей. [Скоро] Мы выпустим множество контрольных точек для этих моделей, на каждые 1000 шагов обучения. Соглашение об именах — StepXXX-tokensYYYB. Эти контрольно-пропускные пункты уже доступны в OLMo 7B апреля 2024 г. и скоро будут скопированы сюда. Чтобы загрузить конкретную версию модели с помощью HuggingFace, просто добавьте аргумент «revision»: все версии/ветви перечислены в файле «revisions.txt». Или вы можете получить доступ ко всем версиям моделей с помощью следующего фрагмента кода: — Разработано: Институт искусственного интеллекта Аллена (AI2) — Поддерживается: Databricks, Институтом изучения естественного и искусственного интеллекта Кемпнера при Гарвардском университете, AMD, CSC (суперкомпьютер Lumi), UW — Тип модели: авторегрессионная языковая модель в стиле Transformer. — Язык(и) (NLP): Английский. — Лицензия: Код и модель выпущены под управлением Apache 2.0. — Контакт: Технические вопросы: olmo at allenai dot org. Пресса: пресса на allenai dot org. Конечная дата: октябрь 2023 г., большая часть данных приходится на февраль/март…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: allenai
Теги: olmo, en, endpoints_compatible
Лайков: 17 | Загрузок: 1,631
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
