Мы использовали наш собственный набор данных OpenOrca для точной настройки поверх LLongMA-2-7b-16k. Этот набор данных является нашей попыткой воспроизвести набор данных, созданный для Orca Paper компании Microsoft Research. Мы используем упаковку OpenChat, обученную с помощью Axolotl. Этот выпуск подготовлен на основе тщательно отобранного отфильтрованного подмножества большинства наших дополненных данных GPT-4. Это то же подмножество наших данных, которое использовалось в нашей модели OpenOrcaxOpenChat-Preview2-13B. В этом выпуске показано, что сочетание нашего обучения с существующей точно настроенной моделью с длинным контекстом приводит к значительному повышению производительности модели. Мы измерили это с помощью результатов BigBench-Hard и AGIEval, обнаружив в среднем около 134% производительности базовой модели Llongma2-16k. Мы провели обширные внутренние оценки и ожидаем, что эта модель займет 4-е место в таблице лидеров HuggingFaceH4 Open LLM для моделей 7B, но с производительностью> 99% первое место и 1-е место для моделей 7B с более длинным контекстом. Мы провели это обучение в рамках тестирования интеграции алгоритма MultiPack OpenChat в трейнер Axolotl. MultiPack достигает эффективности упаковки в контейнеры на уровне 99,85% в нашем наборе данных. Это значительно сократило время обучения, а эффективность повысилась в 3-10 раз по сравнению с традиционными…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Open-Orca
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 45 | Загрузок: 826
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
