> Джемма 4 Эксперт 4B (МО) | Режим мышления | 128 тыс. Контекст | 140+ языков | БФ16 | Apache 2.0 Слева: Отец (gemma-4-E4B-it) — сбалансированный универсальный вариант с низкой активацией по большинству зондов. Справа: Мать (Клод-Опус-Дистилл) — сильная концентрация РАЗУМАНИЯ на более поздних уровнях, активация КОДА на поздних уровнях. Мать демонстрирует значительно более специализированные узоры слоев, полученные при дистилляции Клода Опуса. Ключевые наблюдения по геному: ffnratio=0,90 указывает на то, что слои FFN сильно отдают предпочтение Матери (Клод Опус Дистилл), несущей основную часть улучшения рассуждений. блок 5 (последние слои) = 0,84 показывает, что основные уровни рассуждения также сильно отдают предпочтение Матери, что соответствует схеме, наблюдаемой во всех моделях Дарвина Опуса, где способность рассуждения Клода концентрируется на последних уровнях. Между тем, attnratio=0,18 твердо сохраняет структуру внимания Отца, сохраняя исходные мультимодальные и контекстные возможности Gemma 4. Примечательно, что mritrust=0,49 показывает, что система обнаружила почти одинаковую ценность как в диагностическом анализе, так и в эволюционном поиске, что предполагает хорошо сбалансированную оптимизацию. Darwin-4B-Opus — самая доступная модель в семействе Darwin Opus, комфортно работающая на одном потребительском компьютере…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат Мультиязычность
Задача: Генерация текста
Автор: FINAL-Bench
Теги: gemma4, image-text-to-text, darwin-v6, evolutionary-merge, mri-guided, dare-ties, reasoning, thinking
Лайков: 18 | Загрузок: 802
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
