Эта модель представляет собой доработанную версию Qwen2.5-Math-7B-Instruct в наборе данных SocraTeach. SocraticLM предназначен для образовательных целей, где учащиеся нуждаются в руководстве в стиле Сократа при возникновении трудностей в обучении решению математических задач. Также SocraticLM может самостоятельно решать математические задачи. При обучении использовались следующие гиперпараметры: — скорость обучения: 1e-05 — trainbatchsize: 8 — seed: 42 — distributedtype: multi-GPU — numdevices: 4 — totaltrainbatchsize: 32 — totalalevalbatchsize: 32 — оптимизатор: Use OptimizerNames.ADAMWTORCH with betas=(0.9,0.999) and epsilon= 1e-08 and optimizerargs =No additional optimizer arguments — lrschedulertype: cosine — lrschedulerwarmupsteps: 20 — Transformers 4.46.2 — Pytorch 2.5.1 cu124 — Datasets 3.1.0 — Tokenizers 0.20.3
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям Математика
Задача: Генерация текста
Автор: CogBase-USTC
Теги: qwen2, llama-factory, full, generated_from_trainer, conversational, en, zh, text-generation-inference
Лайков: 3 | Загрузок: 113
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
