8-битное симметричное квантование AWQ kai-os/Carnice-9b, оптимизированное для графических процессоров Ampere (серия RTX 30) с vLLM. kai-os/Carnice-9b — это тонкая настройка Qwen/Qwen3.5-9B, которая исключает визуальные компоненты и использует архитектуруQwen35ForCausalLM `. Эта архитектура изначально не поддерживается vLLM. Чтобы обойти это, эта квантованная контрольная точка повторно переносит веса обратно в архитектуру Qwen35ForConditionalGeneration (соответствующую исходной конфигурации Qwen/Qwen3.5-9B), поэтому vLLM может загрузить ее с помощью —language-model-only, чтобы обслуживать вывод только для текста. INVALID LANGUAGE PAIR SPECIFIED. EXAMPLE: LANGPAIR=EN|IT USING 2 LETTER ISO OR RFC3066 LIKE ZH-CN. ALMOST ALL LANGUAGES SUPPORTED BUT SOME MAY HAVE NO CONTENT
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: TurbulenceDeterministe
Теги: qwen3_5, image-text-to-text, hermes-agent, merged, standalone, qwen3.5, terminal, browser
Лайков: 3 | Загрузок: 71
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
