Merely Phase 1 UNA, only MLP’s and its kinda of a beta. The goal was to produce a small but powerful MoE. This is a 2 MoE model, of 7B each expert. Based on intel-neural series v3.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: fblgit
Теги: mixtral, llama-factory, lora, generated_from_trainer, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 75
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Argon-0.5B 一个自研的基线模型，复刻 DeepSeek-V4 模型训练典型优化器，并加入 Engram 模块。 本仓库计划上传模型权重、切分后的训练数据、训练代码、tokenizer 资产和完整配置，使 Argon-0.5B 成为一个可审计、可复现、可继续训练的研究型预训练样例。 这个项目的初衷是复刻 DeepSeek 技术栈中的关键训练流程，并尝试在 500M 参数规模上实现一个完整的预训练闭环。 — 复刻 、数据...
Over the past three months, we have continued to scale the thinking capability of Qwen3-235B-A22B, improving both the...
GGUF квантовала версии inclusionAI/Ling-3.0-flash, нативной гибридной модели рассуждений следующего поколения с общими параметрами 124B и активными параметрами 5.1B...
Эта модель обучена и выпущена Сангджи Дондрубом [sangjeedondrub в live dot com], единственная цель проведения этих экспериментов —...
