Серия Capybara — это первая коллекция наборов данных и моделей Nous, созданная путем тонкой настройки, в основном, на основе данных, созданных Nous собственными силами. Мы используем нашу новую технику синтеза данных под названием Amplify-instruct (скоро появится статья), метод распределения исходных данных и синтеза состоит из синергетического сочетания высокопроизводительных существующих методов синтеза данных и распределений, используемых для моделей SOTA, таких как Airoboros, Evol-Instruct(WizardLM), Orca, Vicuna, Know_Logic, Lamini, FLASK и других, все в одной экономичной, целостно сформированной методологии для набора данных и модели. Начальные инструкции, используемые для начала синтезированных диалогов, в основном основаны на таких наборах данных, как Airoboros, Know Logic, EverythingLM, GPTeacher и даже на совершенно новых начальных инструкциях, полученных из сообщений на веб-сайте LessWrong, а также дополнены некоторыми собственными многооборотными наборами данных, такими как Dove (преемник Puffin). Несмотря на отличную производительность в своем текущем состоянии, текущий набор данных, используемый для точной настройки, полностью содержится в 20 тысячах обучающих примеров, что в 10 раз меньше, чем у многих аналогичных работающих текущих моделей, это важно, когда речь идет о последствиях масштабирования для наших…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NousResearch
Теги: stablelm_epoch, sft, StableLM, custom_code, eng
Лайков: 43 | Загрузок: 89
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
