Fireworks Mixtral 8x22b Instruct OH – это инструктированная версия последней модели MoE от Mistralai – 8x22b. Эта модель была точно настроена на ~ 10 тысячах записей из набора данных OpenHermes от NousResearch. Огромная благодарность Teknium и команде NousResearch за этот высококачественный набор данных SFT. Чтобы сэкономить время обучения, мы отбираем и форматируем 10 тысяч образцов из набора данных OpenHermes 2.5. Выполняем переформатирование под шаблон чата викуньи. В остальном набор данных используется как есть. Модель была обучена на 8xA100 [80G] с использованием Deepspeed Zero 3. Нам пришлось исправить существующую ошибку с Deepspeed Zero 3, из-за которой взаимодействие между Zero 3 и MoE приводило к зависанию обучения. СИСТЕМА маршрутных вопросов: Вы полезный помощник. Пожалуйста, будьте добры, терпеливы и правдивы, отвечая на вопросы. ПОЛЬЗОВАТЕЛЬ: Создайте маршрут путешествия по Багамам. Не жалейте деталей. ПОМОЩНИК: Конечно, я буду рад помочь вам спланировать поездку на Багамы! Вот подробный маршрут на ваше рассмотрение: День 1: Прибытие в Нассау — Прибытие в международный аэропорт Линден Пиндлинг в Нассау, столице Багамских островов. — Заселитесь в отель или на курорт. — Проведите день, исследуя город, посещая такие места, как Лестница Королевы, Форт…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: fireworks-ai
Теги: mixtral, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 29 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
