Этот репозиторий содержит исходный код полной точности в формате «безопасных тензоров» для создания GGUF, GPTQ, EXL2, AWQ, HQQ и других форматов. Исходный код также можно использовать напрямую. ВАЖНО: Настройки высочайшего качества / Руководство по оптимальной эксплуатации / Параметры и пробоотборники. Если вы собираетесь использовать эту модель (источник, GGUF или другой количественный анализ), просмотрите этот документ, чтобы узнать о критических параметрах, пробоотборнике и дополнительных настройках пробоотборника (для нескольких приложений AI/LLM). Это модель «Класса 3» (настройки по умолчанию имеют решающее значение для работы): все настройки, используемые для этой модели (включая особенности ее «класса»), включая создание примеров и руководство по расширенным настройкам (которое часто решает любые проблемы модели), включая методы улучшения производительности модели для всех вариантов использования, а также чат, ролевые игры и другие варианты использования (особенно для вариантов использования, выходящих за рамки конструкции модели), см.: [ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters] Независимо от «класса модели» в этом документе подробно описаны методы улучшения операций. Если модель относится к классу 3/4, настройки по умолчанию (параметры, пробоотборники, расширенные пробоотборники)…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: DavidAU
Теги: llama, mergekit, merge, conversational, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 82
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
