Qwen2.5-Coder-7B-Instruct обучен на объединенном наборе данных вопросов и ответов Unity3d из этих трех наборов данных: предварительный просмотр 2: 26210 строк, из которых около 1000 взяты из моего собственного набора данных с несколькими ответами. Обучение с использованием собственного шаблона чата (без использования инструментов, см. эту проблему: https://github.com/unslothai/unsloth/issues/1053). После небольшого поверхностного тестирования выяснилось, что он хорошо реагирует на мистральный шаблон. Считайте это предварительным просмотром, пока я разрабатываю собственный набор данных. Если у вас есть какие-либо отзывы, пожалуйста, поделитесь. Я пока провел только базовое тестирование. Мне особенно интересно, используете ли вы его с Tabby или аналогичным инструментом кодирования. — Разработчик: neph1 — Лицензия: apache-2.0 — Точная настройка на основе модели: unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bit Эта модель qwen2 была обучена в 2 раза быстрее с помощью библиотеки TRL Unsloth и Huggingface. Около 1,5 эпох. Вероятно, это немного переобучение, и мне следует добавить в мой набор проверки некоторые общие вопросы по кодированию, чтобы гарантировать, что он не слишком сильно потеряет общую производительность. TrainingArguments(perdevicetrainbatchsize = 2, градиента накопления шагов = 64, #maxsteps = 10, numtrainepochs = 3, Warmupsteps = 5, скорость обучения = 1e-4, fp16 = not torch.cuda.isbf16supported(), bf16 =…
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода Следование инструкциям
Задача: Генерация текста
Автор: neph1
Теги: qwen2, text-generation-inference, unsloth, trl, sft, conversational, en, endpoints_compatible
Лайков: 10 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
