Это модель кодирования/программирования, обеспечивающая полное рассуждение на платформе Qwen 3, которая безумно быстра — более 150 т/с на умеренном оборудовании и более 50 т/с только на ЦП… Это универсальная модель кодирования, подходящая для блоков кода, мозгового штурма идей кодирования и быстрой генерации черновика кода. Если рассуждать, он также может обрабатывать сложные запросы кода. Версия 2 более стабильна, чем V1, и генерирует более качественный код. Также ознакомьтесь с пересмотренными и суженными настройками для достижения наилучших результатов. Он содержит 42 слоя (слияние ДВУХ моделей 0,6B) и 464 тензора — очень плотная модель для такого размера. GGUF были дополнены набором данных NEO Imatrix, включая Q8, F16 и BF16 (NEO2, NEO3). В этом репозитории также есть ТРИ версии NEO GGUF, чтобы воспользоваться уникальными свойствами этой модели. Как бы странно это ни звучало, кванты от низких до средних работают лучше всего из-за более сильного эффекта Иматрикса в этих квантах в некоторых случаях использования (см. ниже). Модель может лучше кодировать и, кажется, принимает более правильные решения (вместо того, чтобы много колебаться) и иногда генерирует МЕНЬШИЕ логические блоки [от 1/4 до 1/2 размера]. Аналогичным образом, кванты низшего уровня часто предлагают «нестандартные» решения и/или менее сложные —…
Модальности:
Генерация текста
Области применения:
Генерация кода Программирование Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, merge, programming, code generation, code, codeqwen, coding, coder
Лайков: 21 | Загрузок: 4,307
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
