Это промежуточная модель, используемая в качестве базовой модели для дальнейших экспериментов с пифией 12b SFT-8. Он был обучен на более широком наборе наборов данных для настройки инструкций для> 12,5 тысяч шагов с размером пакета 128 и размером контекста 2048. Набор данных gpt4all имел загрязнение «как языковая модель» (> 1,8 тысяч записей). Мы добавили фильтрацию позже, но эта модель (до версии 8) была обучена на необработанном нефильтрованном наборе данных gpt4all. — wandb: https://wandb.ai/open-assistant/supervised-finetuning/runs/sytsyhrp — отчет о выборке Используемая команда: deepspeed Trainersft.py —showdatasetstats —configs defaults pythia-12b-pretrain pretrain —cachedir .cache/ —outputdir .saved/pythia-12b-super-pretrain2 —deepspeed`
Модальности:
Генерация текста
Задача: Генерация текста
Автор: OpenAssistant
Теги: gpt_neox, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 311
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
