Точная настройка для самостоятельной игры преобразует слабые языковые модели в сильные языковые модели (https://arxiv.org/abs/2401.01335). Эта модель представляет собой точно настроенную модель для самостоятельной игры на итерации 3 из выравнивания-handbook/zephyr-7b-sft-full с использованием синтетических данных, основанных на наборе данных HuggingFaceH4/ultrachat_200k. — Тип модели: модель, подобная GPT, с параметрами 7B, точно настроенная на синтетических наборах данных. — Язык(и) (NLP): Преимущественно английский — Лицензия: MIT — Точная настройка на основе модели: Alignment-handbook/zephyr-7b-sft-full (на основе mistralai/Mistral-7B-v0.1) — Скорость обучения: 1e-07 — trainbatchsize: 8 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 8 — totaltrainbatchsize: 64 — оптимизатор: RMSProp — lrschedulertype: линейный — lrschedulerwarmupratio: 0,1 — numepochs: 2,0
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: UCLA-AGI
Теги: mistral, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 25 | Загрузок: 483
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
