Этот репозиторий содержит квантованные веса GGUF для google/gemma-4-12B, специально оптимизированные и исправленные для работы на экспериментальном движке бесконечного контекста Adèlic Condense. Встроенная интеграция с ChatML: исправлена ошибка, из-за которой модель иногда галлюцинировала фальшивый диалог пользователя (например, пользователя). Это было связано с несоответствием базовых шаблонов Gemma и формата SFT модели. Стандартный шаблон ChatML Jinja2 теперь навсегда встроен в метаданные GGUF, что позволяет стандартным механизмам (и Ollama) автоматически анализировать остановки диалога. Встроенное мультимодальное подавление: ошибка генерации галлюцинаций and ` была навсегда устранена с помощью движка Adèlic и конфигураций генерации Hugging Face. Эта модель предназначена для запуска на специальной вилке llama.cpp с конденсатором Adèlic KV. Движок Adèlic использует специализированное ядро CUDA, которое постоянно оценивает косинусное сходство токенов внутри кэша KV. Активно удаляя старые, избыточные исторические токены (сходство > 0,999) из кэша значений на каждом отдельном слое, движок теоретически обеспечивает бесконечное окно контекста, не исчерпав при этом…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: sneedjak
Теги: gguf, gemma, gemma-4, llama-cpp, infinite-context, adelic, en, endpoints_compatible
Лайков: 5 | Загрузок: 2,530
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
