RedPajama-INCITE-Base-3B-v1 был разработан Together и лидерами сообщества искусственного интеллекта с открытым исходным кодом, включая Ontocord.ai, ETH DS3Lab, AAI CERC, Университет Монреаля, MILA — Квебекский институт искусственного интеллекта, Стэнфордский центр исследований фундаментальных моделей (CRFM), исследовательскую группу Stanford Hazy Research и LAION. Обучение проводилось на 3072 графических процессорах V100, предоставленных в рамках проекта INCITE 2023 «Масштабируемые базовые модели для переносимого универсального искусственного интеллекта», присужденного MILA, LAION и EleutherAI осенью 2022 года, при поддержке Oak Ridge Leadership Computing Facility (OLCF) и программы INCITE. — Базовая модель: RedPajama-INCITE-Base-3B-v1 — Версия с настроенной инструкцией: RedPajama-INCITE-Instruct-3B-v1 — Версия для чата: RedPajama-INCITE-Chat-3B-v1 — Разработано: Together Computer. — Тип модели: Языковая модель — Язык(и): Английский — Лицензия: Apache 2.0 — Описание модели: Предварительно обученная языковая модель с параметрами 2,8B. Обратите внимание, что для модели требуются трансформаторы версии >= 4.25.1. Чтобы выполнить вывод с помощью int8, убедитесь, что у вас установлены ускорение и bitandbytes. Вы можете установить их с помощью следующей команды: Обратите внимание, что, поскольку LayerNormKernelImpl не реализован в fp16 для ЦП,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: togethercomputer
Теги: gpt_neox, en, text-generation-inference, endpoints_compatible
Лайков: 89 | Загрузок: 1,214
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
