GPT-J-PygPPO-6B представляет собой экспериментальную модель, содержащую по параметрам смесь 40/60 (средневзвешенное значение PPOHH:Pygmalion) масс ppohhgpt-j и Pygmalion-6b. Как и при точной настройке, объединение весов не добавляет информацию, а преобразует ее, поэтому важно учитывать компромиссы. PygPPO объединяет ppohh_gpt-j и Pygmalion-6b; оба технических достижения сочетаются с намерением усилить сильные стороны обоих. Наборы данных обоих приведены ниже, чтобы помочь в исследовательских размышлениях о том, какие наборы данных, в каком количестве и конфигурации оказывают наибольшее влияние на полезность модели без затрат на тонкую настройку. Смешение было выполнено в FP32 и выведено в FP16. Только для исследовательских целей, предназначено для ответственного использования. Выразите разговор на естественном языке, и Pyg_PPO сделает это. Попробуйте запустить двухстрочную подсказку, например: «Или любая другая тема», и модель будет продолжать двигаться вперед и назад в этом формате. Также может использоваться в качестве основы для объединения с другими моделями творческой, технической или приключенческой тематики того же класса (GPT-J и 6b NeoX) и размера параметра (6b) для экспериментов с морфологией веса модели на основе значения, добавленного инструкцией. Слияние протестировано с использованием…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TehVenom
Теги: gptj, en, endpoints_compatible
Лайков: 6 | Загрузок: 408
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
