Для трансформаторов версии 4.40.0 или новее вместо этого используйте OLMo 7B, апрель 2024 г. HF. OLMo 7B, апрель 2024 г., — это последняя версия исходной модели OLMo 7B, обеспечивающая увеличение MMLU на 24 пункта, а также другие улучшения оценок за счет улучшенной версии набора данных Dolma и поэтапного обучения. OLMo — это серия открытых языковых моделей, предназначенная для изучения языковых моделей. Модели OLMo обучаются на наборе данных Dolma. Мы публикуем весь код, контрольные точки, журналы и детали, необходимые для обучения этих моделей. [Скоро] Мы выпустим множество контрольных точек для этих моделей, на каждые 1000 шагов обучения. Соглашение об именах — step1000-tokens4B. Чтобы загрузить конкретную версию модели с помощью HuggingFace, просто добавьте аргумент «revision»: все версии/ветви перечислены в файле «revisions.txt». Или вы можете получить доступ ко всем версиям моделей с помощью следующего фрагмента кода: Несколько версий были потеряны из-за ошибки, но подавляющее большинство присутствует. — Разработано: Институтом искусственного интеллекта Аллена (AI2). — При поддержке: Databricks, Института Кемпнера по изучению естественного и искусственного интеллекта Гарвардского университета, AMD, CSC (суперкомпьютер Lumi), UW. — Тип модели:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: allenai
Теги: olmo, en, endpoints_compatible
Лайков: 51 | Загрузок: 84
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
