Большая языковая модель Мин (Ming‑LLM) — это предметно-специализированная LLM для энергетического сектора. — Мы выпускаем как базовую модель, так и контролируемый тонко настроенный (SFT) вариант. — Базовая модель Мин инициализируется из базовой модели QWEN2.5-72B и впоследствии адаптируется путем продолжения предварительного обучения на корпусе высококачественного энергетического домена. — Вариант SFT инициализируется из базовой модели Ming и обучается наборам данных настройки инструкций, включая, среди прочего, разговорный QA, анализ настроений и извлечение информации. — Обе модели демонстрируют улучшенную производительность в тестах C‑Eval, CMMLU, MMLU, GSM8K и IFEval. Базовая модель: — sequencelen: 4096 — gradientaccumulationsteps: 128 — скорость обучения: 1.0e-5 — lrschedulertype: cosine — warmupratio: 0 — numtrain_epochs: 1.0 SFT: — sequencelen: 4096 — gradientaccumulationsteps: 128 — максимальная скорость обучения: 2e-6 — maxgradnorm: 1.0 — lrschedulertype: cosine — warmupratio: 0.03 — numtrainepochs: 1.0 Вы можете использовать модель Ming со стандартной библиотекой трансформаторов HuggingFace: — Как и любую базовую языковую модель или точно настроенную модель без фильтрации безопасности,
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ZhongMingTech
Теги: qwen2, conversational, zh, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 37
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
