Это гибридная модель Mamba-Transformer, основанная на архитектуре Llama 3.2, перегоненная из Llama 3.1 8B в модель параметров 3B с использованием запатентованного метода перегонки Qwerky. Модель использует слои MAMBA, перемежающиеся со слоями внимания, для эффективного моделирования последовательностей. Результаты представляют собой модель параметров 3B, сопоставимую по качеству с моделью 3.2 3B ламы, но работающую на таких же быстрых или более быстрых скоростях, чем модель 3.2 1B ламы. — Model Type: QwerkyLlamaMambaHybrid (Hybrid Mamba-Transformer) — Architecture: QwerkyLlamaMambaHybridForCausalLM — Base Model: Llama-3.1-8B — Mamba Type: MAMBA — Vocabulary Size: 128256 — Hidden Size: 3072 — Number of Layers: 28 — Number of Attention Heads: 24 — Intermediate Size: 8192 This model can be loaded using HuggingFace Transformers with AutoTokenizer and AutoModelForCausalLM. Модель использует пользовательские файлы конфигурации и моделирования, которые автоматически загружаются через automap в config.json`. Для запуска этой модели требуется CUDA. Эта модель требует CUDA-совместимого графического процессора и не может быть запущена на системах только с центральным процессором. Убедитесь, что у вас есть: — CUDA-совместимый графический процессор (графический процессор NVIDIA с поддержкой CUDA) — установлен инструментарий CUDA — PyTorch с поддержкой CUDA — config.json — Модель…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: QwerkyAI
Теги: qwerky_llama_mamba_hybrid, qwerky, mamba, llama, hybrid, causal-lm, conversational, custom_code
Лайков: 4 | Загрузок: 109
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.