Код этой модели был обновлен и включает в себя адаптации из Birchlabs/mosaicml-mpt-7b-chat-qlora, которые позволяют загружать модели MPT с поддержкой devicemap=»auto» и bitsandbytes (например, loadin8bit, loadin4bit). Он также имеет новейший код MPT кэша «ключ-значение», обеспечивающий быстрый вывод с помощью преобразователей (таким образом, для usecache установлено значение True в config.json). MPT-7B-StoryWriter-65k+ — это модель, предназначенная для чтения и написания вымышленных историй со сверхдлинным контекстом. Он был создан путем точной настройки MPT-7B с длиной контекста 65 тыс. токенов на отфильтрованном художественном подмножестве набора данных book3. Во время вывода, благодаря ALiBi, MPT-7B-StoryWriter-65k+ может экстраполировать даже за пределы 65 тысяч токенов. В нашем блоге мы демонстрируем поколения длиной до 84 тыс. токенов на одном узле из 8 графических процессоров A100-80 ГБ. Лицензия: Демо-версия Apache 2.0 по объему лицевого пространства. Эта модель была обучена MosaicML и соответствует модифицированной архитектуре преобразователя, состоящей только из декодера. Сообщение в блоге: Представляем MPT-7B: новый стандарт для коммерчески используемой кодовой базы LLM с открытым исходным кодом (репозиторий mosaicml/llm-foundry) * Вопросы: Не стесняйтесь обращаться к нам через Slack сообщества MosaicML! Он включает в себя опции для повышения эффективности тренировок…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: emozilla
Теги: mpt, Composer, MosaicML, llm-foundry, custom_code, text-generation-inference
Лайков: 11 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
