> Примечание во время выполнения: этот квант был создан и протестирован с помощью вилки ikllama.cpp от ikawrakow. Он не тестировался на основной ветке ggml/llama.cpp. Для достижения наилучших результатов и полной поддержки функций (смешанная квантовая загрузка) используйте ikllama.cpp. Модель: Darwin-28B-Coder-IQ4XS12.9GiB-GGUF.gguf (12,92 ГиБ, 13 240 МБ) База: FINAL-Bench/Darwin-28B-Coder — Q80, загружено через gguf-my-repo Архитектура: qwen35 — гибридный SSM (Mamba2) + полное внимание, 64 слоя, 26,896 B-параметры Лицензия: Apache-2.0 Специальное смешанное квантование на основе матрицы важности для графических процессоров с видеопамятью 16 ГБ. Создано на основе модели кодера FINAL-Bench — специализированной модели с 28B параметрами, которая набирает 100 % на HumanEval и 72 % на BigCodeBench (см. карточку исходной модели). > 🌐 Примечание о языке: матрица важности была построена на основе кода, математических вычислений и данных о вызовах функций — почти все на английском языке. В результате квант оптимизирован для задач кодирования на английском языке, хотя я обнаружил, что на практике другие языки работают нормально. — Этот квант начинается с Q80, а не с F16. Q80 почти без потерь (8-битное блочное квантование со шкалой F16) — потеря качества при Q8_0 → пользовательский квантов по сравнению с BF16 → пользовательский квантов составляет ~ 0,01–0,03 PPL. Практически все повторные квантователи GGUF работают таким образом. -…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: k0valik
Теги: gguf, darwin, code, code-generation, function-calling, ik_llama-cpp, quantization, imatrix
Лайков: 6 | Загрузок: 104
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
