Athena-R3-1.5B — это каузальная языковая модель с 1,5 миллиардами параметров, точно настроенная из DeepSeek-R1-Distill-Qwen-1.5B. Эта модель специально разработана для расширения возможностей рассуждений, что делает ее искусной в решении сложных задач по решению проблем и предоставлении согласованных, контекстуально релевантных ответов. — Model Developer: Aayan Mishra — Model Type: Causal Language Model — Architecture: Transformer with Rotary Position Embeddings (RoPE), SwiGLU activation, RMSNorm, and Attention QKV bias — Parameters: 1.5 billion total — Layers: 24 — Attention Heads: 16 for query and 2 for key-value (Grouped Query Attention) — Vocabulary Size: Approximately 151,646 tokens — Context Length: Supports up to 128,000 tokens — Languages Supported: Primarily English, with capabilities in other langu The fine-tuning process involved 60 epochs over approximately 90 minutes, utilizing a curated dataset focused on reasoning tasks, including mathematical problem-solving and logical inference. This approach aimed to bolster the model’s proficiency in complex reasoning and analytical tasks. Athena-R3-1.5B is…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: aayanmishra-ml
Теги: qwen2, text-generation-inference, unsloth, trl, conversational, en, zh, fr
Лайков: 3 | Загрузок: 37
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
