Это MPT-30B, но с добавленной поддержкой точной настройки с помощью peft (проверено с помощью qlora). Дальнейшей доработки он не подвергается, вес такой же, как у оригинального МПТ-30б. Я не проследил весь стек объятий, чтобы убедиться, что он работает правильно, но он точно настраивается с помощью qlora, и результаты приемлемы. Вдохновлен реализациями здесь https://huggingface.co/cekal/mpt-7b-peft-совместимый/commits/main https://huggingface.co/mosaicml/mpt-7b/discussions/42. MPT-30B — это преобразователь в стиле декодера, предварительно обученный с нуля на токенах 1T английского текста и кода. Эта модель была обучена MosaicML. MPT-30B является частью семейства моделей Mosaic Pretrained Transformer (MPT), в которых используется модифицированная архитектура трансформатора, оптимизированная для эффективного обучения и вывода. MPT-30B поставляется со специальными функциями, которые отличают его от других LLM, включая контекстное окно 8 тыс. токенов (которое можно дополнительно расширить посредством тонкой настройки; см. MPT-7B-StoryWriter), поддержку экстраполяции длины контекста через ALiBi и эффективный вывод + обучение через FlashAttention. Он также обладает сильными способностями к кодированию благодаря предварительному обучению. Модели MPT также могут эффективно обслуживаться как стандартными…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: eluzhnica
Теги: mpt, Composer, MosaicML, llm-foundry, StreamingDatasets, custom_code, text-generation-inference
Лайков: 8 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
