Обучено на 3000 шагов поверх контрольной точки MPT 7b мозаикаml/mpt-7b. Перед запуском этой модели установите следующий пакет pip: Чтобы запустить эту модель, вам может потребоваться загрузить ее с более низкой точностью, чтобы она соответствовала вашему графическому процессору. Мы обнаружили, что для графического процессора T4 требуется загрузка модели с 8-битной точностью. Чтобы загрузить модель в 8-битной и 4-битной версии, установите следующие пакеты pip: Внимание: для загрузки модели вам также понадобится достаточно оперативной памяти. По нашим оценкам, для загрузки этой модели потребуется около 30 ГБ.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: lightblue
Теги: mpt, custom_code, text-generation-inference, endpoints_compatible
Лайков: 23 | Загрузок: 1,419
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
