Обратите внимание, что эта модель больше не поддерживается и не поддерживается нашей командой. Мы настоятельно не рекомендуем использовать его в производстве или для каких-либо критически важных приложений. Вместо этого мы рекомендуем использовать наши новейшие и лучшие модели, которые можно найти по адресу: https://huggingface.co/collections/Writer/palmyra-writer-license-66476fa8156169f8720a2c89. Palmyra-Large — это модель причинного декодера с 20 миллиардами параметров, созданная Writer и обученная на +800 миллиардах токенов Palmyra-Index-Data, дополненная кураторскими корпус. Palmyra Large в основном была предварительно обучена английскому тексту. Обратите внимание, что в обучающем корпусе, доступ к которому был получен через CommonCrawl, все еще присутствует незначительное количество неанглоязычных данных. В процессе предварительного обучения модели использовалась цель моделирования причинного языка (CLM). Подобно GPT-3, Palmyra Large принадлежит к тому же семейству моделей, которые содержат только декодер. В результате он был предварительно обучен с использованием цели самостоятельного моделирования причинного языка. — Разработчик: https://www.writer.com; — Тип модели: только причинный декодер; — Язык(и) (НЛП): английский (и ограниченные возможности владения немецким, испанским, французским, шведским); — Лицензия: лицензия Apache 2.0. Исследовать…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Writer
Теги: gpt2, text generation, causal-lm, Writer-data, gpt, palmyra, en, text-generation-inference
Лайков: 24 | Загрузок: 3,910
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
