Я хотел попытаться подтолкнуть контекст к 8k, все еще имея возможность загружать 24 ГБ VRAM, и в моем пока очень ограниченном тестировании он, кажется, работает нормально. Мое использование VRAM с моделями 20B: я округлил, это не точные цифры, это также на машине с окнами. Вы можете следовать этим настройкам формата инструкций в SillyTavern. Замените tiny на желаемую длину ответа: Вдохновленный ранее названной предустановкой «Ролевая игра» в SillyTavern, начиная с этой версии LimaRP можно добавить модификатор длины к последовательности команд ответа, например: Это сразу заметно влияет на ответы бота. Доступные длины: крошечные, короткие, средние, длинные, огромные, огромные, экстремальные, неограниченные. Рекомендуемая начальная длина — средняя`**. Имейте в виду, что ИИ может блуждать или выдавать себя за пользователя с очень длинными сообщениями. Эффект контроля длины воспроизводим, но сообщения не обязательно будут очень точно следовать длинам, а в среднем следовать определенным диапазонам, как видно из этой таблицы с данными тестов, выполненных с одним ответом в начале разговора: контроль длины ответа, по-видимому, также хорошо работает в разговоре.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Kooten
Теги: llama, not-for-all-audiences, nsfw, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
