Для трансформаторов версии 4.40.0 или новее вместо этого мы предлагаем использовать OLMo 7B HF. OLMo — это серия открытых языковых моделей, предназначенная для изучения языковых моделей. Модели OLMo обучаются на наборе данных Dolma. Мы публикуем весь код, контрольные точки, журналы (скоро) и подробную информацию, необходимую для обучения этих моделей. Новая версия этой модели с улучшением MMLU на 24 пункта доступна здесь. Мы выпускаем много чекпоинтов для этих моделей, на каждые 1000 шагов обучения. Соглашение об именах — step1000-tokens4B. В частности, мы фокусируемся на четырех ревизиях моделей 7B: Чтобы загрузить конкретную ревизию модели с помощью HuggingFace, просто добавьте аргумент ревизия: Все ревизии/ветви перечислены в файле Revisions.txt. Или вы можете получить доступ ко всем версиям моделей с помощью следующего фрагмента кода: Несколько версий были потеряны из-за ошибки, но подавляющее большинство присутствует. — Разработано: Институтом искусственного интеллекта Аллена (AI2). — При поддержке: Databricks, Института Кемпнера по изучению естественного и искусственного интеллекта Гарвардского университета, AMD, CSC (суперкомпьютер Lumi), UW. — Тип модели: авторегрессионная языковая модель в стиле Transformer. — Язык(и) (НЛП): Английский -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: allenai
Теги: hf_olmo, custom_code, en
Лайков: 650 | Загрузок: 4,206
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
