Эта модель представляет собой доработанную версию ybelkada/falcon-7b-sharded-bf16 в специальном наборе данных heliosbrahma/mentalhealthchatbot_dataset. Эта модель точно настроена на специальном наборе разговорных данных о психическом здоровье. Смысл этого заключается в том, чтобы ответить на вопросы, связанные с психическим здоровьем, которые можно фактически проверить, не отвечая на тарабарщину. Модель была обучена на наборе данных, который может содержать конфиденциальную информацию, связанную с психическим здоровьем. Важно отметить, что, хотя чат-боты в области психического здоровья, созданные с использованием этой модели, могут быть полезны, они не являются заменой профессиональной психиатрической помощи. Эта модель была обучена на специальном наборе данных heliosbrahma/mentalhealthchatbot_dataset, который содержит 172 строки диалоговых пар вопросов и ответов. Эта модель была обучена с использованием техники QLoRA для точной настройки пользовательского набора данных на бесплатном графическом процессоре, доступном в Google Colab. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0002 — размер пакета поезда: 16 — размер пакета evalbatch: 8 — начальное значение: 42 — градиентное накопление шагов: 4 — общий размер пакета поезда: 64 — оптимизатор: Адам с бета-версиями = (0,9,0,999) и эпсилон = 1e-08 — lrschedulertype: косинус — lrschedulerwarmupratio: 0,03 — количество шагов обучения: 320 —…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: heliosbrahma
Теги: tensorboard, falcon, generated_from_trainer, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
