Это седьмая итерация английской модели контролируемой точной настройки (SFT) проекта Open-Assistant. Он основан на StableLM 7B, который был доработан на основе человеческих демонстраций разговоров помощников, собранных через веб-приложение обратной связи https://open-assistant.io/ от человека до 12 апреля 2023 года. – Разработано: участниками Open-Assistant. – Тип модели: языковая модель на основе трансформатора. – Язык: английский. – Доработано из: Sustainableai/stablelm-base-alpha-7b. – Код: Открытый помощник/модель/обучение — Демо: TODO — Лицензия: Лицензия Creative Commons (CC BY-SA-4.0) — Контакт:** Открытый помощник Discord Для обозначения начала хода пользователя и помощника используются два специальных токена: и . Каждый ход заканчивается жетоном. Ввод заканчивается токеном, сигнализирующим о том, что модель должна начать генерировать ответ помощника. — wandb: https://wandb.ai/open-assistant/supervised-finetuning/runs/08dfhyuc — базовая модель: Stabilityai/stablelm-base-alpha-7b — контрольная точка: 3 эпохи (12000 шагов) команда: deepspeed Trainsft.py —configs defaults стабильный lm-7b oasst-mix —cachedir /home/ubuntu/datacache —outputdir .saved/stable-lm-7b-1 —numtrainepochs 4 —deepspeed
Модальности:
Генерация текста
Задача: Генерация текста
Автор: OpenAssistant
Теги: gpt_neox, sft, en, text-generation-inference, endpoints_compatible
Лайков: 67 | Загрузок: 884
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
