Этот репозиторий содержит квантования GGUF тщательно настроенной и не прошедшей цензуру модели AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored. Эти квантования были созданы с использованием специально скомпилированного файла llama.cpp. В отличие от стандартного квантования, эти модели были созданы с использованием высокоточного конвейера: Сохранение выходного тензора: во время квантования мы использовали —leave-output-tensor. Это гарантирует, что окончательная проекционная голова модели останется с точностью FP16, предотвращая «числовой шум», который обычно ухудшает возможности рассуждения при небольших квантованиях. Точность веса SSM: веса маршрутизации 1D SSM (альфа/бета) были сохранены для поддержания сложной долговременной памяти модели и динамики выборочного состояния. Собственные рассуждения: модель оснащена встроенным триггером рассуждений. Используя встроенный блок `, модель может выполнять многоэтапное логическое планирование, прежде чем предоставить окончательный ответ. Обход хэша Tokenizer: исправлена пользовательская проверка хэша BPE, чтобы обеспечить полную совместимость с современными механизмами вывода llama.cpp. Встроенное внедрение ChatML: в файл tokenizerconfig.json добавлен строгий шаблон ChatML. Токены and постоянно встроены в GGUF…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Abiray
Теги: gguf, qwen, uncensored, roleplay, llama-cpp, en, endpoints_compatible, conversational
Лайков: 13 | Загрузок: 36,363
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
