BLOOM LM BigScience Большая открытая научная многоязычная языковая модель Карточка модели 1. Подробности модели 2. Использование 3. Данные обучения 4. Риски и ограничения 5. Оценка 6. Рекомендации 7. Глоссарий и расчеты 8. Дополнительная информация 9. Авторы карты модели В этом разделе представлена информация для всех, кто хочет узнать о модели. Все сотрудники либо являются волонтерами, либо имеют соглашение со своим работодателем. (Дальнейшая информация об участниках будет опубликована позднее.)* Цитируйте как: BigScience, BigScience Language Открытая научная многоязычная языковая модель открытого доступа (BLOOM). Международный, май 2021 г. – май 2022 г. Организации участников. (Дальнейшая разбивка организаций будет опубликована позже.)* В этом разделе представлена информация для людей, занимающихся разработкой моделей. Пожалуйста, ознакомьтесь с README обучения BLOOM для получения полной информации о воспроизведении обучения. Архитектура модели: изменена из Megatron-LM GPT2 (см. статью, код BLOOM Megatron): нормализация слоя применяется к слою встраивания слов (StableEmbedding`; см. код, статью) * Позиционные кодировки ALiBI (см. статью) с функциями активации GeLU * Длина последовательности из 2048 используемых токенов (см. токенизатор BLOOM, описание токенизатора) Целевая функция:…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: bigscience
Теги: jax, onnx, bloom, ak, ar, as, bm, bn
Лайков: 66 | Загрузок: 3,672
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
