— RuQwen2.5-3B-Instruct-AWQ от FractalGPT — это языковая модель, предназначенная для обеспечения высококачественного вывода на русском языке. Созданный на основе серии Qwen2.5, он оптимизирован для русскоязычных задач, сохраняя при этом широкую многоязычную поддержку. — Улучшено качество русского языка: адаптации значительно повысили беглость, точность и связность генерации русского текста, что делает его отличным выбором для русскоязычных приложений. — Тип: причинная языковая модель, настроенная на основе инструкций — Этапы обучения: предварительное обучение и настройка инструкций — Архитектура: преобразователь с RoPE, SwiGLU, RMSNorm и смещением QKV внимания — Слои: 36 — Головки внимания (GQA): 16 для Q и 2 для KV — Длина контекста: поддерживает полный контекст из 131 072 токенов и генерацию до 8 192 токенов — Квантование: AWQ 4 бита — базовая модель: Qwen/Qwen2.5-3B-Instruct-AWQ Код Qwen2.5 был в последних трансформерах Hugging Face, и мы советуем вам использовать последнюю версию трансформеров. Также ознакомьтесь с нашей документацией AWQ для получения дополнительных инструкций по использованию. С pytorch для работы с этой моделью мы используем специальный класс RuQwen2ForCausalLM: здесь представлен фрагмент кода с applychattemplate, который покажет вам, как загрузить…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: FractalGPT
Теги: qwen2, conversational, ru, en, text-generation-inference, endpoints_compatible, 4-bit, awq
Лайков: 5 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
