Мы использовали наш собственный набор данных OpenOrca для точной настройки Llama2-13B с использованием упаковки OpenChat. Этот набор данных является нашей попыткой воспроизвести набор данных, созданный для Orca Paper компании Microsoft Research. Этот второй предварительный выпуск подготовлен на основе тщательно отобранного отфильтрованного подмножества большинства наших дополненных данных GPT-4. В этом выпуске подчеркивается, что наш набор данных и методы обучения превзошли производительность статьи Orca. Мы измерили это с помощью результатов BigBench-Hard и AGIEval, используя те же методы, которые использовались в статье об Orca, и обнаружили в среднем около 103% производительности исходной Orca. Мы провели обширные внутренние оценки и ожидаем, что эта модель займет первое место как в таблице лидеров HuggingFaceH4 Open LLM, так и в таблице лидеров GPT4ALL для моделей 13B. «Один» из OpenChat присоединился к нашей команде, и мы хотели бы выразить им особую благодарность за обучение этой модели! Мы использовали алгоритм OpenChat MultiPack, который обеспечивает эффективность упаковки контейнеров в нашем наборе данных на 99,85%. Это значительно сократило время обучения, а эффективность повысилась в 3-10 раз по сравнению с традиционными методами. Хотите визуализировать наш полный набор данных (предварительная фильтрация)? Ознакомьтесь с нашей картой Nomic Atlas. Мы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Open-Orca
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 103 | Загрузок: 1,590
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
