Редкая модель смеси экспертов, полученная из HuggingFaceTB/SmolLM2-360M. Каждый токен использует около 44% исходных вычислений MLP: 8 из 32 маршрутизируемых экспертов плюс общий эксперт на каждом уровне MoE. Внимание, вложения и токенизатор такие же, как SmolLM2-360M. Это стандартный Qwen2MoeForCausalLM (архитектура Qwen2-MoE может точно выражать слои в стиле ламы SmolLM2), поэтому он загружается простыми трансформаторами и не требует пользовательского кода: Perplexity использует 1024-токенные окна. Контрольные показатели являются нулевыми и соответствуют соглашениям об оценке жгута проводов lm (HellaSwag на 3000 элементов проверки; полные наборы для других). Средние аккормовые средние аккормовые значения по всем пяти задачам (ARC-Easy acc_norm: плотность 0,693, эта модель 0,527). Редкость сохраняет вычисления только с помощью механизма вывода, который работает только с выбранными экспертами, такими как ядра MoE трансформаторов, vLLM или llama.cpp. При таком размере модели внимание и головка встраивания/LM составляют большую долю стоимости, поэтому ожидайте меньших сквозных ускорений, чем предполагают цифры MLP. — За плотной моделью рассуждений и знаний. Он сохраняет большую часть качества языкового моделирования плотной модели, но теряет около 0,10 средней точности эталона, большинство на ARC (наука…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bayliner1980
Теги: qwen2_moe, mixture-of-experts, moe, endpoints_compatible
Лайков: 3 | Загрузок: 140
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
