Экспериментальная модель, обученная с использованием конфигурации и вилок Transformers/Axolotl, предоставленных Doctor-Shotgun Model, была точно настроена из Mixtral-8x7B-v0.1 с набором данных airoboros-3.2 для 4 эпох, формат подсказки ChatML с длиной контекста 8K. Кроме того, модель была затем объединена с Mixtral-8x7B-Instruct-v0.1: это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. В объединение были включены следующие модели: mistralai/Mixtral-8x7B-Instruct-v0.1 LoneStriker/Air-Striker-Mixtral-8x7B-ZLoss Для создания этой модели использовалась следующая конфигурация YAML:
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: LoneStriker
Теги: mixtral, mergekit, merge, conversational, en, text-generation-inference
Лайков: 9 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
