В этом проекте выполняется полная настройка языковой модели Qwen3-0.6B для улучшения возможностей анализа и генерации кода. Обучение проводилось исключительно на наборе данных nvidia/OpenCodeReasoning, а модель была оптимизирована с использованием типа данных bfloat16 (bf16). Был использован набор данных nvidia/OpenCodeReasoning. Каждый пример состоит из фрагментов кода в сочетании с подробными пошаговыми рассуждениями в стиле цепочки мыслей (CoT). Веса базовой модели Qwen3-0.6B были загружены через библиотеку unsloth с точностью bf16. Полная точная настройка (fullfinetuning=True`) была применена ко всем слоям для оптимальной адаптации к логике кода. Использована библиотека TRL Hugging Face с подходом контролируемой точной настройки (SFT). Модель была обучена генерировать правильные решения кода вместе с соответствующими цепочками рассуждений. Способность модели понимать, рассуждать и генерировать код была значительно улучшена благодаря специализированному обучению на одном наборе данных с точностью bf16. Выходные данные включают как промежуточные этапы рассуждения, так и окончательные решения кода, что обеспечивает прозрачную и интерпретируемую генерацию кода. Этот проект распространяется по лицензии Apache License 2.0. См. файл ЛИЦЕНЗИИ для…
Модальности:
Генерация текста
Области применения:
Генерация кода Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: suayptalha
Теги: qwen3, unsloth, trl, sft, code, reasoning, conversational, en
Лайков: 9 | Загрузок: 486
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
