Мое использование VRAM с моделями 20B: Я округлил, это не точные цифры, это также на машине с Windows. Вы можете следовать этим настройкам формата инструкций в SillyTavern. Замените tiny желаемой длиной ответа: Вдохновленный ранее названной предустановкой «Ролевая игра» в SillyTavern, начиная с этой версии LimaRP, можно добавить модификатор длины к последовательности инструкций ответа, например: Это сразу заметно влияет на ответы бота. Доступные длины: крошечная, короткая, средняя, длинная, огромная, огромная, экстремальная, неограниченная. Рекомендуемая начальная длина — средняя`**. Имейте в виду, что ИИ может бессвязно говорить или выдавать себя за пользователя, отправляя очень длинные сообщения. Эффект контроля длины воспроизводим, но сообщения не обязательно будут очень точно соответствовать длине, скорее, в среднем будут соответствовать определенным диапазонам, как видно из этой таблицы с данными тестов, выполненных с одним ответом в начале разговора: Похоже, что контроль длины ответа работает хорошо и в глубине разговора.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Kooten
Теги: llama, not-for-all-audiences, nsfw, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
