Этот репозиторий предоставляет высокоточные квантованные версии модели Qwen3-Coder-REAP-25B-A3B с пользовательской матрицей важности, созданной Em-80 и специально оптимизированной для генерации кода Rust. Я включил .imatrix, если вам нужно оценить свою собственную версию. Просто, пожалуйста, дайте мне ссылку, если вы используете imatrix. Как только все количественные данные будут загружены, я проведу выходные, проводя тесты. — Архитектура модели: на основе варианта CErebras REAP (экспертная обрезка активации маршрутизатора) Qwen3-Coder-30B-A3B-Instruct. — Пользовательский Imatrix: включает Qwen3-Coder-REAP-25B-A3B-Rust.imatrix, созданный с использованием разнообразного и плотного калибровочного набора. — Оптимизирован для логики: процесс квантования в значительной степени был сосредоточен на поддержании многоязычного кодирования модели и возможностей математического рассуждения. Включенный файл .imatrix был разработан, чтобы гарантировать, что низкоразрядные кванты сохраняют как можно больше интеллекта. В отличие от стандартных «слепых» квантов, использующих общие калибровочные данные, эта иматрица была получена на основе тщательно подобранного набора данных из 3000 выборок (21,8 МБ), охватывающего: — Программирование: глубокое понимание синтаксиса, логики и идиоматических шаблонов Rust и Python. Используя эту матрицу важности во время…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Языки программирования:
Python Rust
Задача: Генерация текста
Автор: Em-80
Теги: gguf, code-generation, quantization, qwen3, qwen-coder, cerebras, importance-matrix, imatrix
Лайков: 10 | Загрузок: 1,109
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
