Slush — это двухэтапная модель, обученная с высоким уровнем отсева LoRA, где этап 1 — это продолжение предварительного обучения базовой модели, направленное на повышение творческих способностей модели и ее писательских способностей. Затем это объединяется с моделью настройки инструкций, и этап 2 представляет собой этап тонкой настройки поверх этого для дальнейшего улучшения его ролевых возможностей и / или устранения любого ущерба, причиненного на этапе 1 слияния. Это первоначальный эксперимент, проведенный на печально известной на данный момент модели Llama 3.1 8B, в попытке сохранить ее функциональность, одновременно устраняя ужасающий недостаток воображения/творчества. Как всегда, обратная связь приветствуется, и ее можно оставить, если вы требуете совершенства. Второй этап, как и серия Sunfall, следует за предустановкой Silly Tavern, поэтому ymmv, особенно если вы используете какой-либо другой инструмент и/или предустановку. Это обновление (v1.1) учитывает некоторые отзывы первой итерации, уменьшая параметры обучения, а также вводит пользовательское слияние с использованием mergekit. Все тесты я проводил с температурой 1, мин-p 0,1, DRY 0,8. Я включил XTC в более высоких контекстах. Этап 1 (продолжение предварительной подготовки) Цель: мета-лама/Лама-3.1-8B (в результате LoRA слилась с мета-ламой/Ламой-3.1-8B-Instruct) Отсев LoRA 0,5…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: crestf411
Теги: llama, not-for-all-audiences, mergekit, conversational, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
