Было заново обнаружено, что это снова неправильные веса, это предупреждение исчезнет, когда будут созданы нужные файлы. Если вы хотите убедиться, что используются токены мысли и вывода, обязательно включите рендеринг специальных токенов (в llama.cpp это тег —special). Он может использовать их без рендеринга, во многом как токены чата, это просто позволит вам видеть их по мере их использования моделью. Исходная модель: https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B Для улучшения рассуждений предлагается использовать следующую системную подсказку: Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) являются стандартным методом квантования с вложениями и выходными весами, квантованными до Q8_0 вместо того, что обычно используется по умолчанию. Некоторые говорят, что это улучшает качество, другие не замечают никакой разницы. Если вы используете эти модели, ПОЖАЛУЙСТА, КОММЕНТИРУЙТЕ свои выводы. Мне бы хотелось узнать, что они действительно используются и полезны, поэтому я не буду продолжать загружать количественные данные, которые никто не использует. Если модель больше 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их все в локальную папку, выполните: Вы можете либо указать новый локальный каталог (Reflection-Llama-3.1-70B-Q8_0), либо загрузить…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: bartowski
Теги: gguf, endpoints_compatible, imatrix, conversational
Лайков: 52 | Загрузок: 480
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
