Данная модель представляет собой откровенное слияние Aurora-Nights-70B-v1.0 с самой собой. (Подробную информацию о том, что входит в состав смеси, см. на карточке модели.) Он состоит из 120 слоев и должен весить 103b параметров. Эта модель является преемником Rogue Rose и совершенствует ее. Аврора лучше следует инструкциям, но сохраняет отличные навыки творческого письма и ERP. Эта модель получилась совсем без цензуры. Вы несете ответственность за все, что вы с ним делаете. Эта модель была разработана для ролевых игр и рассказывания историй, и я думаю, что она хорошо справляется с обоими задачами. Он должен хорошо справляться с другими задачами, но я не проверял его возможности в других областях. Я рекомендую поддерживать максимальный контекст на уровне около 6144 токенов, хотя вы можете увеличить его, если не возражаете против некоторого снижения согласованности. Я рекомендую использовать квадратичную выборку (т. е. коэффициент сглаживания), так как это хорошая вещь. Поэкспериментируйте со значениями от 0,2 до 0,5. Я рекомендую использовать Min-P. Эта модель, кажется, хорошо работает со значениями Min-P во всем диапазоне от низких настроек, таких как 0,05, до высоких настроек, таких как 0,9, в сочетании с коэффициентом сглаживания. Поэкспериментируйте, чтобы найти наилучшие настройки. Если хотите, вы можете включить динамическую температуру, но это добавляет еще одну переменную, которую следует учитывать, и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: sophosympatheia
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
