Это четвертая итерация английской модели контролируемой точной настройки (SFT) проекта Open-Assistant. Он основан на Pythia 12B, который был доработан на основе человеческих демонстраций разговоров помощников, собранных через веб-приложение обратной связи https://open-assistant.io/ от человека до 25 марта 2023 года. – Разработано: участниками Open-Assistant – Тип модели: Языковая модель на основе трансформатора – Язык: английский – Доработано из: EleutherAI / pythia-12b-deduped – Код: Открытый помощник/модель/обучение — Демо: Продолжения для 250 случайных подсказок — Лицензия: Apache 2.0 — Контакт:** Открытый помощник Discord Для обозначения начала хода пользователя и помощника используются два специальных токена: и . Каждый ход заканчивается жетоном. Ввод заканчивается токеном, сигнализирующим о том, что модель должна начать генерировать ответ помощника. — wandb: https://wandb.ai/open-assistant/supervised-finetuning/runs/770a0t41 — базовая модель: andreaskoepf/pythia-12b-pre-2000 — контрольная точка: 4000 шагов команда: deepspeed Trainsft.py —configs defaults reference-data reference-pythia-12b —cachedir /home/ubuntu/datacache —outputdir .saved/oasst-sft-3-pythia-12b-reference2kpre —numtrainepochs 8 —residualdropout 0.2 —deepspeed…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: OpenAssistant
Теги: gpt_neox, sft, en, text-generation-inference, endpoints_compatible
Лайков: 368 | Загрузок: 2,002
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
