Что нового по сравнению с версией 1? В версии 1.9 теперь используются новые методы смещения, которые приводят к более последовательному и динамичному управлению. Мы также работали над улучшением качества обработки обучающих данных и значительно улучшенной базовой моделью (Mistral)! Серия Capybara — это первая коллекция наборов данных и моделей Nous, созданная путем тонкой настройки, в основном, на основе данных, созданных Nous собственными силами. Мы используем нашу новую технику синтеза данных под названием Amplify-instruct (скоро появится статья), метод распределения исходных данных и синтеза состоит из синергетического сочетания высокопроизводительных существующих методов синтеза данных и распределений, используемых для моделей SOTA, таких как Airoboros, Evol-Instruct (WizardLM), Orca, Vicuna, Know_Logic, Lamini, FLASK и других, все в одной экономичной, целостно сформированной методологии для набора данных и модели. Начальные инструкции, используемые для начала синтезированных диалогов, в основном основаны на таких наборах данных, как Airoboros, Know Logic, EverythingLM, GPTeacher и даже на совершенно новых начальных инструкциях, полученных из сообщений на веб-сайте LessWrong, а также дополнены некоторыми собственными многооборотными наборами данных, такими как Dove (преемник Puffin). Несмотря на отличные результаты в этом…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NousResearch
Теги: mistral, sft, StableLM, eng, text-generation-inference, endpoints_compatible
Лайков: 51 | Загрузок: 1,521
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
