Это версия модели mpt-7b-storywriter, разбитая на фрагменты по 2 ГБ для загрузки с низким объемом оперативной памяти (т. е. Colab). Веса хранятся в bfloat16, поэтому теоретически вы можете запустить это на процессоре, хотя это может занять вечность. Пожалуйста, обратитесь к ранее связанному репозиторию для получения подробной информации об использовании/реализации/и т. д. Эта модель была скачана из оригинального репозитория под Apache-2.0 и распространяется под той же лицензией. > Обратите внимание при использовании: это не модель, настроенная на основе инструкций, поэтому вам необходимо предоставить ей достаточный входной текст, чтобы продолжить генерировать что-то по теме с помощью вашего приглашения > Установить/обновить пакеты: Затем вы можете использовать model.generate(), как обычно — подробности см. в блокноте.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ethzanalytics
Теги: mpt, mosaicML, sharded, story, custom_code, en, text-generation-inference
Лайков: 20 | Загрузок: 1,489
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
