MPT-7B-StoryWriter-65k — это модель, предназначенная для чтения и написания художественных рассказов со сверхдлинным контекстом. Она была создана путем дообучения MPT-7B с длиной контекста 65 тыс. токенов на отфильтрованной подвыборке художественной литературы из набора данных books3. Во время инференса благодаря ALiBi MPT-7B-StoryWriter-65k может экстраполировать даже за пределы 65 тыс. токенов. В нашем блоге мы демонстрируем генерации длиной до 84 тыс. токенов на одном узле из 8 графических процессоров A100-80 ГБ. * Лицензия: Apache 2.0 Эта модель была обучена компанией MosaicML и основана на модифицированной архитектуре трансформера только с декодером. Публикация в блоге: Представляем MPT-7B: новый стандарт для больших языковых моделей с открытым исходным кодом, пригодных для коммерческого использования Кодовая база (репозиторий mosaicml/llm-foundry) * Вопросы: не стесняйтесь обращаться к нам через Slack-канал сообщества MosaicML! Она включает в себя множество функций для повышения эффективности обучения, таких как FlashAttention (Дао с соавт. 2022), ALiBi, QK LayerNorm и многое другое. Чтобы использовать оптимизированную реализацию FlashAttention на основе Triton, вы можете загрузить модель на GPU (cuda:0) с параметром attnimpl=’triton’ и точностью bfloat16`: Хотя модель была обучена с длиной последовательности 2048 и дообучена с длиной последовательности 65536, ALiBi позволяет пользователям увеличивать максимальную…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Abzu
Теги: mpt, Composer, MosaicML, llm-foundry, custom_code, text-generation-inference, 8-bit
Лайков: 2 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
