II-Medical-8B-1706 — это новейшая усовершенствованная модель большого языка, разработанная Intelligent Internet и специально разработанная для улучшения медицинских рассуждений на основе искусственного интеллекта. После положительного приема нашего предыдущего II-Medical-8B, эта новая итерация значительно расширяет возможности ответа на медицинские вопросы. Мы также предоставляем здесь статические квантовые версии II-Medical-8B-1706. Мы собрали и создали полный набор наборов данных для рассуждений для медицинской области и выполнили точную настройку SFT для модели Qwen/Qwen3-8B. После этого мы дополнительно оптимизировали модель SFT, обучив DAPO на наборе данных для повышения производительности. — Максимальная длина: 16378. — Размер пакета: 128. — Скорость обучения: 5e-5. — Число эпох: 6. Для этапа обучения с подкреплением (RL) мы разработали двухэтапный процесс обучения. На первом этапе основное внимание уделяется расширению возможностей модели для решения сложных медицинских вопросов. Второй этап гарантирует, что в ответах модели приоритет отдается безопасности и полезности. На обоих этапах используется следующая конфигурация: — Максимальная длина приглашения: 2048 токенов. — Максимальная длина ответа: 12288 токенов. — Слишком длинный буфер: включено, 4096 токенов, штрафной коэффициент 1,0. -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Intelligent-Internet
Теги: qwen3, conversational, text-generation-inference, endpoints_compatible
Лайков: 138 | Загрузок: 365
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
