Granite 4.0 Micro (≈3B) предназначен для медицинского образования и обучения. Рецепт: JEPA-LLM SFT на medmcqa-hard + увеличение персон → GRPO на medmcqa-hard; завершено слиянием Arcee Fusion обратно в базу IBM. > ⚠️ Медицинская безопасность > Эта модель не предназначена для клиницистов и может иметь галлюцинации. Не используйте для диагностики или лечения. Используйте только под квалифицированным медицинским наблюдением. — Цель JEPA-LLM, см. репозиторий: mkurman/jepa-llm, используется в качестве вспомогательного сигнала во время SFT для смещения в сторону стабильного обучения на уровне представления, а не чистой подгонки следующего токена; пробежать 400 шагов на MedMCQA-hard с дополнением Personas из персон Tulu-3 (добавляет поведение, отслеживающее ограничения, и улучшает охват требований в стиле IFEval). — GRPO заменяет критику групповыми базовыми показателями, обеспечивая эффективное обучение с использованием нескольких выборок; мы генерируем 8 кандидатов по каждому пункту и вознаграждаем за проверку правильности/формата ответа. — Arcee Fusion в MergeKit для выборочного объединения с оригинальным Granite 4.0 Micro (избегает чрезмерного усреднения из-за наивных слияний и имеет тенденцию сохранять базовую калибровку). Примечания автора: EleutherAI lm-Evaluation-Harness с шаблоном чата Granite и размером пакета 8. > Почему выигрыш скромный:…
Модальности:
Генерация текста
Области применения:
Диалог / чат Медицина
Задача: Генерация текста
Автор: openmed-community
Теги: granitemoehybrid, medical, instruction-tuned, jepa-llm, grpo, dpo-like, personas, mergekit
Лайков: 7 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
