GPT-R — это экспериментальная модель, содержащая по параметрам смесь 60/40 (средневзвешенное) весов ppohhgpt-j и GPT-JT-6B-v1. Как и при точной настройке, объединение весов не добавляет информацию, а преобразует ее, поэтому важно учитывать компромиссы. GPT-Ronin объединяет ppohhgpt-j и GPT-JT; оба технических достижения сочетаются с намерением усилить сильные стороны обоих. Наборы данных обоих приведены ниже, чтобы помочь в исследовательских размышлениях о том, какие наборы данных, в каком количестве и конфигурации оказывают наибольшее влияние на полезность модели без затрат на тонкую настройку. Смешение было выполнено в FP32 и выведено в FP16. Только для исследовательских целей, предназначено для ответственного использования. Выразите задачу на естественном языке, и GPT-R сделает это. Попробуйте сказать ему: «Напиши статью об X, но включи в нее Y», «Напиши пронумерованное руководство из пяти шагов о том, как выполнить X», или любые другие базовые инструкции. Он делает все возможное. Может также использоваться в качестве основы для объединения с моделями разговорной, рассказьной или приключенческой тематики того же класса (GPT-J и 6b NeoX) и размера параметра (6b) для экспериментов с морфологией весов модели на основе значения, добавленного инструкцией. Объединить…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: digitous
Теги: gptj, en, endpoints_compatible
Лайков: 11 | Загрузок: 1,182
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
