Huihui-MoE-5B-A1.7B-abliterated — это языковая модель Mixture of Experts (MoE), разработанная huihui.ai и построенная на основе удаленной базовой модели huihui-ai/Qwen3-1.7B. Он расширяет стандартную архитектуру Transformer, заменяя уровни MLP уровнями MoE, каждый из которых содержит 4 эксперта, для достижения высокой производительности и эффективного вывода. Модель предназначена для задач обработки естественного языка, включая генерацию текста, ответы на вопросы и диалоговые приложения. huihui-ai/Huihui-MoE-4.8B-A1.7B-abliterated Поскольку тайевордэмбеддингс=True, параметры для lm_head не были сохранены, что приводит к тому, что ollama не может его использовать. Поэтому эта версия поддерживает олламу. Эта модель объединяет четыре аблированные модели и, возможно, она сможет достичь производительности всех аблированных моделей? Это всего лишь тест. Еще одной возможностью является исследование слияния различных проявлений моделей одного типа. — Архитектура: модель Qwen3MoeForCausalLM с 4 экспертами на уровень (numexperts=4), активация 1 эксперта на каждый токен (numexpertspertok=1). — Общие параметры: ~5 миллиардов (5B) — Активированные параметры: ~1,72 миллиарда (1,7B) во время вывода, что сравнимо с Qwen3-1,7B-удаленным -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: huihui-ai
Теги: qwen3_moe, moe, conversational, endpoints_compatible
Лайков: 18 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
