Моей основной причиной обучения этой модели было исследование использования измененных потерь балансировки маршрутизатора в сочетании с z-потерями, представленными в ST-MoE: Разработка стабильных и переносимых разреженных экспертных моделей. Результат, я считаю, вполне достойный! Он хорошо учитывает символьную информацию в системных подсказках и адекватно справляется с несколькими простыми задачами по кодированию. Для обучения этому я использовал специальную ветку Transformers, которая добавляет z-loss и переопределяет потери балансировки маршрутизатора на основе версии MegaBlocks. Конфигурация, используемая с моей взломанной веткой аксолотля, доступна здесь. Использует мой любимый формат подсказок чата, не связанный с использованием токенов ChatML. Сообщения должны иметь префикс «System:», «Query:» или «Response:» для системных, пользовательских и модельных сообщений соответственно. Никаких новых строк не требуется, но пробел перед тройной звездочкой обязателен.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: chargoddard
Теги: mixtral, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 26 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
