Каждая ветвь содержит отдельные биты на вес, а основная содержит только файл meaurement.json для дальнейших преобразований. Исходная модель: https://huggingface.co/cognitivecomputations/laserxtral. Эксперимент по «обработке лазером» каждого эксперта для шумоподавления и расширения возможностей модели. Эта модель имеет вдвое меньший размер по сравнению с Mixtral 8x7b Instruct. И в целом он имеет тот же уровень производительности (мы работаем над тем, чтобы получить более высокий балл MMLU). Эта модель представляет собой смесь экспертов (MoE), созданную с помощью mergekit (микстральная ветвь). Он использует следующие базовые модели: Cognitivecomputations/dolphin-2.6-mistral-7b-dpo mlabonne/Marcoro14-7B-slerp (base) beowolx/CodeNinja-1.0-OpenChat-7B Q-bert/MetaMath-Cybertron-Starling * WizardLM/WizardMath-7B-V1.1. Он следует реализации laserRMT @. https://github.com/cognitivecomputations/laserRMT Здесь мы контролируем слои, проверяя, какие из них имеют более низкое соотношение сигнал/шум (которые более подвержены шуму), чтобы применить лазерное вмешательство, по-прежнему используя Маченко Пастура для расчета этого отношения. Мы намерены стать первыми в серии экспериментов, проводимых Cognitive Computations. В этом эксперименте мы наблюдали…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: QuixiAI
Теги: mixtral, endpoints_compatible
Лайков: 9 | Загрузок: 1
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
