Сачин Мехта, Мохаммад Хоссейн Сехават, Цинцин Цао, Максвелл Хортон, Янци Цзинь, Ченфан Сун, Иман Мирзаде, Махьяр Наджиби, Дмитрий Беленко, Питер Затлукал, Мохаммад Растегари Мы представляем OpenELM, семейство открытых эффективных языковых моделей. OpenELM использует стратегию послойного масштабирования для эффективного распределения параметров внутри каждого уровня модели трансформатора, что приводит к повышению точности. Мы предварительно обучили модели OpenELM с помощью библиотеки CoreNet. Мы выпускаем как предварительно обученные, так и настроенные по инструкции модели с параметрами 270M, 450M, 1.1B и 3B. Мы выпускаем полную структуру, включающую процедуры подготовки данных, обучения, точной настройки и оценки, а также множество предварительно обученных контрольных точек и журналов обучения, чтобы облегчить открытые исследования. Наш набор данных для предварительного обучения содержит RefinedWeb, дедуплицированный PILE, подмножество RedPajama и подмножество Dolma v1.6, всего около 1,8 триллиона токенов. Пожалуйста, ознакомьтесь с лицензионными соглашениями и условиями использования этих наборов данных перед их использованием. Мы предоставили пример функции для генерации выходных данных из моделей OpenELM, загруженных через HuggingFace Hub, в файлеgenerateopenelm.py`. Пожалуйста, перейдите по этой ссылке, чтобы получить токен доступа к обнимающему лицу. Дополнительный…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: apple
Теги: openelm, custom_code
Лайков: 51 | Загрузок: 874
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
