Пальмира Смолл в основном была предварительно обучена английскому тексту. Обратите внимание, что в обучающем корпусе, доступ к которому был получен через CommonCrawl, все еще присутствует незначительное количество неанглоязычных данных. В процессе предварительного обучения модели использовалась цель моделирования причинного языка (CLM). Как и GPT-3, Palmyra Small принадлежит к тому же семейству моделей, которые содержат только декодер. В результате он был предварительно обучен с использованием цели самостоятельного моделирования причинного языка. Palmyra Small использует подсказки и общую экспериментальную установку GPT-3 для проведения оценки в соответствии с GPT-3. Palmyra Small — самый быстрый из LLM Writer и может выполнять такие важные задачи, как анализ текста, простая классификация, коррекция адреса и распознавание ключевых слов. Предоставление большего количества контекста повышает производительность. Пальмира Смолл (128M) прошла обучение на специальном наборе данных Writer. Palmyra Small изучает внутреннее представление английского языка, которое можно использовать для извлечения функций, полезных для последующих задач. Однако модель лучше всего подходит для того, для чего она была предварительно обучена, а именно для генерации текста из подсказки. Эту модель можно легко загрузить с помощью AutoModelForCausalLM…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Writer
Теги: coreml, gpt2, text generation, causal-lm, Writer-data, NeMo, palmyra, en
Лайков: 20 | Загрузок: 2,428
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
