120-слойный, 103-битный параметр, объединяющий Midnight-Rose-70B-v2.0.3 с самим собой. Эта модель без цензуры. Вы несете ответственность за все, что вы с ним делаете. Эта модель была разработана для ролевых игр и рассказывания историй, и я думаю, что она хорошо справляется с обоими задачами. Он должен хорошо справляться с другими задачами, но я не проверял его возможности в других областях. Я рекомендую поддерживать максимальный контекст на уровне около 6144 токенов, хотя вы можете увеличить его, если не возражаете против некоторого снижения согласованности. Я рекомендую использовать квадратичную выборку (т. е. коэффициент сглаживания), поскольку это хорошая вещь. Поэкспериментируйте со значениями от 0,2 до 0,5. Я рекомендую использовать Min-P. Эта модель, кажется, хорошо работает со значениями Min-P во всем диапазоне от низких настроек, таких как 0,05, до высоких настроек, таких как 0,9, в сочетании с коэффициентом сглаживания. Поэкспериментируйте, чтобы найти наилучшие настройки. Вы можете включить динамическую температуру, если хотите, но это добавляет еще одну переменную, которую следует учитывать, и я считаю, что в ней нет необходимости, поскольку вы уже используете Min-P и коэффициент сглаживания. Вам не нужно* использовать высокий штраф за повторение с этой моделью, но она допускает высокий штраф за повторение, поэтому поэкспериментируйте, чтобы найти правильное значение для ваших предпочтений. Экспериментируйте с любым из…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: sophosympatheia
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 77
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
