Бублик, Mixtral Instruct, с дополнительными специями. Дайте ему вкус. Работает с форматами подсказок Alpaca, хотя формат Mistral также должен работать. Я начал экспериментировать, пытаясь выяснить, смогу ли я улучшить или исправить некоторые проблемы Бублика. Полностью вдохновленный тем, как хорошо работает Mixtral-8x7B-Instruct-v0.1-LimaRP-ZLoss от Doctor-Shotgun (который представляет собой мелодию LimaRP поверх базового Mixtral, а затем объединенную с Mixtral Instruct), я решил в результате попробовать несколько слияний Bagel с Mixtral Instruct. Каким-то образом я оказался здесь, Bagel, Mixtral Instruct, немного LimaRP, немного Sensualize от Sao10K. Пока что в моем тестировании он работает очень хорошо, и, хотя во многих вещах он кажется довольно несогласованным, в некоторых конкретных вещах он, возможно, слишком согласован (что, я думаю, происходит от Sensualize) — так что с этим можно поиграть в будущем или, может быть, попробовать DPO. Я запускал (последняя временная температура) minP 0,1, dynatemp 0,5-4, Rep Pen 1,02, диапазон повторений 1024. Я тестировал инструкцию/ответ в стиле Альпаки и инструкцию/ввод/ответ, и они, кажется, работают хорошо, я ожидаю, что формат подсказок Mistral также будет работать хорошо. Возможно, вам придется добавить останавливающую строку в «{{char}}:» для RP, потому что это…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ycros
Теги: mixtral, mergekit, merge, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 49
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
