Это доработка Qwen2.5-Instruct для WiroAI/dolphin-r1-turkish. — Упрощенные модели DeepSeek иногда рассуждают на китайском или английском языке, хотя подсказки задаются на другом языке. — Модели с открытым исходным кодом все еще нуждаются в улучшении на языках с относительно низким уровнем ресурсов. — Мотивация воспроизводить R1 и вносить вклад в сообщество. — Обучаем модель на WiroAI/dolphin-r1-turkish в течение 2 эпох. Мы используем скорость обучения 1e-5 и максимальную длину последовательности 4096. Обучение проводится по косинусному графику скорости обучения с фазой разминки 10%. — Обучение заняло 3 дня в кластере ADA 8xA6000. — Обычно команда R1 сравнивает производительность моделей OpenR1 с DeepSeek-Distill-Qwen-7B и OpenThinker-7B, используя Lighteval. Однако наборы данных ориентированы только на математику, поэтому, чтобы не делать каких-либо выводов, мы не будем раскрывать результаты по умолчанию. Вы можете найти код обучения и оценки по адресу: https://github.com/huggingface/open-r1/. Мы заметили, что процесс рассуждения немного улучшился. Наша модель мыслит более четко на турецком языке по сравнению с моделью рассуждения DeepSeek. — Эта модель подготовлена для экспериментальных целей, и любая контрольная оценка приветствуется. Имейте в виду, что эта модель будет производить больше жетонов…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: WiroAI
Теги: qwen2, generated_from_trainer, trl, sft, thinking, reasoning, deepseek, qwen
Лайков: 22 | Загрузок: 105
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
