Slush — это двухэтапная модель, обученная с высоким уровнем отсева LoRA, где этап 1 — это продолжение предварительного обучения базовой модели, направленное на повышение творческих способностей модели и ее писательских способностей. Затем это объединяется с моделью настройки инструкций, и этап 2 представляет собой этап тонкой настройки поверх этого для дальнейшего улучшения его ролевых возможностей и / или устранения любого ущерба, причиненного на этапе 1 слияния. Это все еще ранняя стадия. Как всегда, обратная связь приветствуется, и ее можно оставить, если вы требуете совершенства. Второй этап, как и серия Sunfall, следует за пресетом Silly Tavern (Mistral V2 и V3, хотя V3-Tekken работает нормально), так что ymmv, особенно если вы используете какой-либо другой инструмент и/или пресет. Этап 1 (продолжение предварительной подготовки) Цель: мистралай/Мистраль-Немо-База-2407 (в результате LoRA объединена с мистралай/Мистраль-Немо-Инструкт-2407) Отсев LoRA 0,5 (мотивация) LoRA ранг 64, альфа 128 (мотивация) LR косинус 4e-6 LoRA+ с соотношением LR: 15 Размер контекста: 16384 Шаги накопления градиента: 4 Эпохи: 1 Этап 2 (тонкая настройка) Цель: Модель этапа 1 Отсев LoRA 0,5 Уровень LoRA 32, альфа 64 LR косинус 5e-6 (мин. 5e-7) LoRA+ с соотношением LR: 15 Размер контекста: 16384 Шаги накопления градиента: 4 …
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: crestf411
Теги: mistral, not-for-all-audiences, mergekit, conversational, text-generation-inference, endpoints_compatible
Лайков: 34 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
