Я рад поделиться ранним выпуском проекта, который занимал меня последние пару недель. Релиз Mixtral подтолкнул меня к глубокому погружению в МО. С выпуском Qwen1.5 мне было любопытно посмотреть, как он будет сравниваться с Mixtral. Имея опыт работы учителем и тренером по актерскому мастерству, я увидел параллели между влиянием высококачественных сценариев на выступления и важностью сбора высококачественных данных для моделей обучения. Это побудило меня изучить возможность курирования данных, особенно для обучения моделей «Смесь экспертов» (MoE). Я изучил набор данных OpenHermes от Teknium, коллекции Джона Дурбина на GitHub и методы Эрика Хартфорда для достижения конкретных результатов с помощью моделей. Я курировал набор данных под названием Mixture of Data (MoD) из различных источников, включая Bagel, OpenHermes и многие другие, в общей сложности около 780 000 различных разговоров ShareGPT. Этот набор данных направлен на то, чтобы побудить модели Минобразования развивать своих собственных экспертов. После обучения Qwen1.5-7b на 100 тысячах случайных выборок из МО за четыре эпохи и слияния точно настроенной модели 8x я применил подход, использующий случайный вентиль, без специальной тонкой настройки, проводимой кем-либо из 8 экспертов. В результате появилась модель, которая изначально…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Crystalcareai
Теги: mixtral, conversational, text-generation-inference, endpoints_compatible
Лайков: 45 | Загрузок: 165
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
