Эта модель представляет собой многоуровневое слияние SLERP нескольких вариантов Llama 3 70B. Подробности смотрите в рецепте слияния ниже. Я расширил контекстное окно для этой модели до 32К, захватив несколько слоев из abacusai/Smaug-Llama-3-70B-Instruct-32K, используя технику, аналогичную той, которую я использовал для Midnight Miqu, которую в дальнейшем оттачивал jukofyork. Эта модель без цензуры. Вы несете ответственность за все, что вы с ним делаете. Эта модель была разработана для ролевых игр и рассказывания историй, и я думаю, что она хорошо справляется с обоими задачами. Он также может хорошо справляться с другими задачами, но я не проверял его производительность в других областях. Вы можете запустить эту модель в контексте 32 КБ, установив значение Alpha_rope равным 1. Я рекомендую использовать квадратичную выборку (т. е. коэффициент сглаживания) для творческой работы. Я думаю, что эта версия работает лучше всего с коэффициентом сглаживания, близким к 0,2. Я рекомендую использовать Min-P. Поэкспериментируйте, чтобы найти наилучшие настройки. Я считаю, что эта модель довольно хорошо переносит высокие настройки Min-P, но используйте все, что позволяет вашей лодке плавать. Вы можете включить динамическую температуру, если хотите, но это добавляет еще одну переменную, которую следует учитывать, и я считаю, что в ней нет необходимости, поскольку вы уже используете Min-P и коэффициент сглаживания. Если вы используете Textgen WebUI в качестве серверной части,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: sophosympatheia
Теги: llama, mergekit, merge, Not-for-all-Audiences, conversational, text-generation-inference, endpoints_compatible
Лайков: 58 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
