Этот репозиторий содержит исходный код полной точности в формате «безопасных тензоров» для создания GGUF, GPTQ, EXL2, AWQ, HQQ и других форматов. Исходный код также можно использовать напрямую. Этот репозиторий предназначен для превосходного «Josiefied-Qwen3-8B-abliterated-v1» Гёкдениза-Гельмеса, измененного с контекста 32 КБ (32768) на контекст 64 КБ (65536), модифицированного с использованием YARN согласно техническим примечаниям в репозитории Qwen. Кванты GGUF набора данных NEO Imatrix с максимальным 16-битным выходным тензором находятся здесь: из: от 8 до 16 тысяч за «мышление» / «выход». Пожалуйста, обратитесь к карточке модели QWEN для получения подробной информации, тестов, способов использования, настроек, включения/выключения рассуждений, системных ролей и т. д. и т. п. Это может вам понадобиться, а может и не понадобиться, поскольку в большинстве случаев Qwen3 генерируют свои собственные блоки рассуждения/мышления. См. документ «Максимизация модели-производительности-все…» ниже, чтобы узнать, как «установить» системную роль в различных приложениях LLM/AI ниже. ВАЖНО: Настройки высочайшего качества / Руководство по оптимальной эксплуатации / Параметры и пробоотборники. Если вы собираетесь использовать эту модель (источник, GGUF или другой количественный анализ), пожалуйста, просмотрите это…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: qwen3, 64k context, reasoning, thinking, uncensored, conversational, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 208
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
