Экспериментальная модель с использованием limarp qlora, обученного на длине 10 тыс. ctx (больше, чем размер самой длинной выборки limarp при токенизации с помощью токенизатора Mistral) на mistralai/Mixtral-8x7B-v0.1 с использованием ZLoss Чарльза Годдарда и вилки трансформаторов на основе Megablocks, а затем объединенной с mistralai/Mixtral-8x7B-Instruct-v0.1 при 0,5 вес. И это, кажется, позволяет мне избежать ловушек, связанных с зацикливанием Mixtral. Поиграйтесь с этим и посмотрите, что подойдет именно вам. Exl2 Quants предоставлено LoneStriker: — 2.4bpw — 3.0bpw — 3.5bpw — 3.75bpw — 4.0bpw — 5.0bpw — 6.0bpw Предполагаемый формат подсказки — это формат инструкций Alpaca LimaRP v3: Благодаря включению LimaRP v3 к последовательности ответных инструкций можно добавить модификатор длины, например это: это сразу же заметно повлияет на реакцию ботов. Доступные длины: микро, крошечные, короткие, средние, длинные, массивные, огромные, огромные, огромные, неограниченные. Рекомендуемая начальная длина – средняя. Имейте в виду, что ИИ может бессвязно говорить или выдавать себя за пользователя, отправляя очень длинные сообщения. Модель будет демонстрировать предвзятости, аналогичные тем, которые наблюдаются на нишевых форумах по ролевым играм в Интернете, помимо тех, которые демонстрируются базовой моделью. Это не…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: DS-Archive
Теги: mixtral, conversational, en, text-generation-inference
Лайков: 18 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
