RedPajama-INCITE-7B-Base был разработан Together и лидерами сообщества искусственного интеллекта с открытым исходным кодом, включая Ontocord.ai, ETH DS3Lab, AAI CERC, Университет Монреаля, MILA — Квебекский институт искусственного интеллекта, Стэнфордский центр исследований фундаментальных моделей (CRFM), исследовательскую группу Stanford Hazy Research и LAION. Обучение проводилось на 3072 графических процессорах V100, предоставленных в рамках проекта INCITE 2023 «Масштабируемые базовые модели для переносимого универсального искусственного интеллекта», присужденного MILA, LAION и EleutherAI осенью 2022 года, при поддержке Oak Ridge Leadership Computing Facility (OLCF) и программы INCITE. — Базовая модель: RedPajama-INCITE-7B-Base — Версия с настроенной инструкцией: RedPajama-INCITE-7B-Instruct — Версия для чата: RedPajama-INCITE-7B-Chat — Разработано: Together Computer. — Тип модели: Языковая модель — Язык(и): английский — Лицензия: Apache 2.0 — Описание модели: Предварительно обученная языковая модель с параметрами 6,9B. Обратите внимание, что для модели требуются трансформаторы версии >= 4.25.1. Чтобы выполнить вывод с помощью int8, убедитесь, что у вас установлены ускорение и bitandbytes. Вы можете установить их с помощью следующей команды: Обратите внимание: поскольку LayerNormKernelImpl не реализован в fp16 для ЦП, мы используем…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: togethercomputer
Теги: gpt_neox, en, text-generation-inference, endpoints_compatible
Лайков: 91 | Загрузок: 1,073
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
