Этот репозиторий содержит исходный код полной точности в формате «безопасных тензоров» для создания GGUF, GPTQ, EXL2, AWQ, HQQ и других форматов. Исходный код также можно использовать напрямую. ВАЖНО: Настройки высочайшего качества / Руководство по оптимальной эксплуатации / Параметры и пробоотборники. Если вы собираетесь использовать эту модель (источник, GGUF или другой количественный анализ), просмотрите этот документ, чтобы узнать о критических параметрах, пробоотборнике и дополнительных настройках пробоотборника (для нескольких приложений AI/LLM). Это модель «Класса 2» (настройки улучшают работу/дополнительные настройки): все настройки, используемые для этой модели (включая особенности ее «класса»), включая генерацию примеров и руководство по расширенным настройкам (которое много раз решает любые проблемы модели), включая методы улучшения производительности модели для всех вариантов использования, а также чат, ролевые игры и другие варианты использования (особенно для вариантов использования, выходящих за рамки конструкции модели), см.: [ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters] Независимо от «класса модели» в этом документе подробно описаны методы улучшения операций. Если модель относится к классу 3/4, настройки по умолчанию (параметры, пробоотборники и т. д.)
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: gemma2, mergekit, merge, conversational, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 86
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
