zen-E/deepspeed-chat-step1-model-opt1.3b — это модель OPT-1.3b SFTed от DeepSpeedExamples/applications/DeepSpeed-Chat. Модель тонко настраивается на 4 наборах данных с разделением 2, 4, 4 для этапов SFT, моделирования вознаграждения и RLHF. Журнал обучения прилагается. 2 A100-40GB используется для точной настройки модели, шаги градиентного накопления настраиваются на 4. — Репозиторий: https://github.com/microsoft/DeepSpeedExamples/tree/master/applications/DeepSpeed-Chat нижние 5 примеров взяты из «OpenAssistant Conversations — Democratizing Large Language Model Alignment»
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: zen-E
Теги: opt, en, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
