MPT-7B — это преобразователь в стиле декодера, предварительно обученный с нуля на токенах 1T английского текста и кода. Эта модель была обучена MosaicML. MPT-7B является частью семейства моделей MosaicPretrainedTransformer (MPT), в которых используется модифицированная архитектура трансформатора, оптимизированная для эффективного обучения и вывода. Эти архитектурные изменения включают в себя реализацию уровней с оптимизацией производительности и устранение ограничений длины контекста путем замены позиционных вложений на «Внимание с линейными смещениями» (ALiBi). Благодаря этим модификациям модели MPT можно обучать с высокой пропускной способностью и стабильной сходимостью. Модели MPT также могут эффективно обслуживаться как со стандартными конвейерами HuggingFace, так и с помощью FasterTransformer от NVIDIA. В этой модели используется кодовая база MosaicML LLM, которую можно найти в репозитории llm-foundry. Он был обучен командой NLP MosaicML на платформе MosaicML для предварительного обучения, точной настройки и вывода LLM. Лицензия на возможность коммерческого использования (в отличие от LLaMA). Обучение проводилось на большом объеме данных (токены 1T, такие как LLaMA, против 300B для Pythia, 300B для OpenLLaMA и 800B для StableLM). Готовность обрабатывать чрезвычайно длинные входные данные благодаря ALiBi (мы настроили…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: gretelai
Теги: mpt, Composer, MosaicML, llm-foundry, StreamingDatasets, custom_code, text-generation-inference
Лайков: 6 | Загрузок: 800
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
