Эксперименты по «лазерной обработке» каждого эксперта для шумоподавления и расширения возможностей модели. Эта модель имеет вдвое меньший размер по сравнению с Mixtral 8x7b Instruct. И в целом он имеет тот же уровень производительности (мы работаем над тем, чтобы получить более высокий балл MMLU). Эта модель представляет собой смесь экспертов (MoE), созданную с помощью mergekit (микстральная ветвь). Он использует следующие базовые модели: Cognitivecomputations/dolphin-2.6-mistral-7b-dpo mlabonne/Marcoro14-7B-slerp (base) beowolx/CodeNinja-1.0-OpenChat-7B Q-bert/MetaMath-Cybertron-Starling * WizardLM/WizardMath-7B-V1.1. Он следует реализации laserRMT @. https://github.com/cognitivecomputations/laserRMT Здесь мы контролируем слои, проверяя, какие из них имеют более низкое соотношение сигнал/шум (которые более подвержены шуму), чтобы применить лазерное вмешательство, по-прежнему используя Маченко Пастура для расчета этого отношения. Мы намерены стать первыми в серии экспериментов, проводимых Cognitive Computations. В этом эксперименте мы наблюдали очень высокую правдивость и высокие способности к рассуждению.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: QuixiAI
Теги: mixtral, text-generation-inference, endpoints_compatible
Лайков: 78 | Загрузок: 34
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
