Этот репозиторий содержит исходный код полной точности в формате «безопасных тензоров» для создания GGUF, GPTQ, EXL2, AWQ, HQQ и других форматов. Исходный код также можно использовать напрямую. (исходные файлы будут загружены, когда количество параметров отображается в левом верхнем углу) ВАЖНО: Настройки высочайшего качества / Руководство по оптимальной эксплуатации / Параметры и пробоотборники. Если вы собираетесь использовать эту модель (источник, GGUF или другой количественный анализ), просмотрите этот документ на предмет критических параметров, пробоотборника и дополнительных настроек пробоотборника (для нескольких приложений AI/LLM). Информацию обо всех настройках, используемых для этой модели (включая особенности ее «класса»), включая создание примеров и руководство по расширенным настройкам (которое часто решает любые проблемы модели), включая методы улучшения производительности модели для всех вариантов использования, а также чата, ролевых игр и других вариантов использования (особенно для вариантов использования, выходящих за рамки конструкции модели), см.: [ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters] Независимо от «класса модели» в этом документе подробно описаны методы улучшения операций. Если модель относится к классу 3/4, настройки по умолчанию (параметры, пробоотборники, дополнительные параметры…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: DavidAU
Теги: llama, reasoning, thinking, cognitivecomputations, r1, cot, deepseek, Llama 3.1
Лайков: 5 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
