llama-8x265m-moe
❤️ This repo contains the model LLaMA-8x265M-MoE(970M totally), which activates 2 out of 8 experts (332M parameters). This...
Метка: llama_moe
LLaMA-MoE-v1-3_5B-2_8-sft
This is the supervised fine-tuned version of LLaMA-MoE-v1-35B-28 on Deita-6k for 2 epochs. Модальности:Генерация текста Задача: Генерация текста...
LLaMA-MoE-v1-3_0B-2_16
❤️ В этом репозитории находится модель LLaMA-MoE-v1-3.0B (2/16), которая активирует 2 из 16 экспертов (параметры 3.0B). Эта модель...
LLaMA-MoE-v1-3_5B-2_8
❤️ В этом репозитории находится модель LLaMA-MoE-v1-3.5B (2/8), которая активирует 2 из 8 экспертов (параметры 3.5B). Эта модель...
LLaMA-MoE-v1-3_5B-4_16
❤️ В этом репозитории находится модель LLaMA-MoE-v1-3.5B (4/16), которая активирует 4 из 16 экспертов (параметры 3,5B). Эта модель...