Модель, скорее всего, переоснащена из-за более высокой скорости обучения. Исправим эту проблему в следующем выпуске. Это Synthia-MoE-v3, обученная на официальной версии Mistral MoE (Mixtral-8x7B). Эта модель обучена на наборе данных Synthia-v3.0, который содержит около 10 тысяч образцов сверхвысокого качества, созданных GPT-4-Turbo. Образцы содержат «Древо мысли», «Цепочку мысли» и другие системные контексты, предназначенные для пробуждения рассуждений, философского мышления, использования рабочей памяти и длинной цепочки рассуждений с вопросами, состоящими из нескольких частей. Далее эта модель обучается по принципу Orca-2 замены системного контекста всего одним сообщением. В случае с этой моделью Synthia-MoE-v3 системный контекст вообще не был включен. Оценки приближаются, но эмпирическое тестирование модели дает весьма разумные и последовательные результаты. Вот пример разговора: https://migel.substack.com/p/a-conversation-with-synthia-moe-mixtral.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: migtissera
Теги: mixtral, text-generation-inference, endpoints_compatible
Лайков: 31 | Загрузок: 1,056
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
