Huihui-MoE-4.8B-A1.7B-abliterated — это языковая модель Mixture of Experts (MoE), разработанная huihui.ai и построенная на основе удаленной базовой модели huihui-ai/Qwen3-1.7B. Он расширяет стандартную архитектуру Transformer, заменяя уровни MLP уровнями MoE, каждый из которых содержит 4 эксперта, для достижения высокой производительности и эффективного вывода. Модель предназначена для задач обработки естественного языка, включая генерацию текста, ответы на вопросы и диалоговые приложения. Эта версия не поддерживает ollama, поскольку параметр «tiewordembeddings=True» приводит к отсутствию сохранения параметров lm_head; поэтому олламу использовать нельзя. Если требуется поддержка ollama, выберите последнюю версию huihui-ai/Huihui-MoE-5B-A1.7B-abliterated. Эта модель объединяет четыре аблированные модели и, возможно, она сможет достичь производительности всех аблированных моделей? Это всего лишь тест. Еще одной возможностью является исследование слияния различных проявлений моделей одного типа. — Архитектура: модель Qwen3MoeForCausalLM с 4 экспертами на уровень (numexperts=4), активация 1 эксперта на каждый токен (numexpertspertok=1). — Общие параметры: ~4,8 миллиарда (4,8B) — Активированные параметры: ~1,72 миллиарда (1,7B)…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: huihui-ai
Теги: qwen3_moe, moe, conversational, endpoints_compatible
Лайков: 8 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
