Высокопроизводительная, структурно дистиллированная причинно-следственная языковая модель, разработанная для локального развертывания, выполнения с низкой задержкой и плотности рассуждений. Разработанная в рамках Waveforce AI, Aura-2-Lightning выравнивает компактную, отзывчивую основу студентов с латентными внутренними состояниями крупномасштабной базовой модели Mixture-of-Experts. — Базовая архитектура студента: openai-community/gpt2-xl (1.5B) — выбрана благодаря зрелой, необременительной архитектуре декодера трансформатора и низкой задержке выполнения. — Модель основания учителя: openai/gpt-oss-20b — Собственная 4-разрядная микроразмерная модель основания MoE, обеспечивающая целевые скрытые скрытые состояния. https://arthwarrior3201.github.io/Aura-2-Lightning-Feedback/
Модальности:
Генерация текста
Задача: Генерация текста
Автор: waveforce-ai
Теги: gpt2, distillation, causal-lm, waveforce-ai
Лайков: 3 | Загрузок: 573
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.