Примените вектор debias, а также положительный или отрицательный вектор при запуске llama-server. Если оба применяются, они нейтрализуют друг друга. Вы можете использовать либо —control-vector [/path/to/vector.gguf] либо —control-vector-scaled [/path/to/vector.gguf] [коэффициент масштабирования] ВАЖНО: Положительные и отрицательные векторы управления осями должны использоваться вместе с соответствующим вектором управления смещением — их нельзя использовать отдельно! При включении рассуждений для экстремальных квантов, таких как IQ2_XXS, очень простые запросы, такие как «Привет», могут привести к нерелевантным ответам.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: gghfez
Теги: gguf, control-vector, creative-writing, en, endpoints_compatible
Лайков: 7 | Загрузок: 420
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
