Это экспериментальная модель на основе Mistralai/Mixtral-8x7B-v0.1, настроенная по инструкциям, обученная с использованием ZLoss Чарльза Годдарда и форка трансформаторов на основе Megablocks. В основном он использует наборы данных Capybara и No Robots (отсюда и название). Целью было создать нецензурированную модель, основанную на общих инструкциях, а также протестировать различные реализации потерь, пока мы выясняем, как, черт возьми, правильно обучать Mixtral. Дополнительные кванты Exl2 любезно предоставлены LoneStriker: — 2.4bpw — 3.0bpw — 3.5bpw — 3.75bpw — 4.0bpw — 5.0bpw — 6.0bpw Предполагаемый формат подсказки представляет собой модифицированный формат многооборотных инструкций Alpaca: модель будет отображать отклонения, присутствующие в базовой модели. Никакого этического согласования не применялось для предотвращения образования токсичных или вредных результатов (фактически наоборот, включая примеры токсичного ДПО), поэтому генерируйте на свой страх и риск. Эта модель обучалась в качестве адаптера QLora в течение 3 эпох с использованием одного графического процессора H100 в течение примерно 13 часов.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DS-Archive
Теги: mixtral, conversational, en, text-generation-inference
Лайков: 5 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
