Это обучено на модели Yi-34B с длиной контекста 200 тыс. для 3 эпох в наборе данных Capybara! Первая модель Nous 34B и первая модель Nous длиной 200 тыс. контекстов! Серия Capybara — это первая коллекция моделей Nous, созданная путем тонкой настройки в основном на основе данных, созданных Nous собственными силами. Мы используем нашу новую технику синтеза данных под названием Amplify-instruct (скоро появится статья), метод распределения исходных данных и синтеза состоит из синергетического сочетания высокопроизводительных существующих методов синтеза данных и распределений, используемых для моделей SOTA, таких как Airoboros, Evol-Instruct (WizardLM), Orca, Vicuna, Know_Logic, Lamini, FLASK и других, все в одной экономичной, целостно сформированной методологии для набора данных и модели. Начальные инструкции, используемые для начала синтезированных диалогов, в основном основаны на высоко оцененных наборах данных, таких как Airoboros, Know Logic, EverythingLM, GPTeacher и даже на совершенно новых начальных инструкциях, полученных из сообщений на веб-сайте LessWrong, а также дополнены некоторыми собственными многооборотными наборами данных, такими как Dove (преемник Puffin). Несмотря на отличную производительность в своем текущем состоянии, текущий набор данных, используемый для точной настройки, полностью содержится…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NousResearch
Теги: llama, sft, Yi-34B-200K, eng, text-generation-inference, endpoints_compatible
Лайков: 259 | Загрузок: 1,600
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
