Мы использовали наш собственный набор данных OpenOrca для точной настройки поверх LLongMA-2-13b-16k. Этот набор данных является нашей попыткой воспроизвести набор данных, созданный для Orca Paper компании Microsoft Research. Мы используем упаковку OpenChat, обученную с помощью Axolotl. Этот выпуск подготовлен на основе тщательно отобранного отфильтрованного подмножества большинства наших дополненных данных GPT-4. Это то же подмножество наших данных, которое использовалось в нашей модели OpenOrcaxOpenChat-Preview2-13B. По оценкам HF Leaderboard, эта модель занимает первое место среди всех моделей с длинным контекстом 13B на момент выпуска. Мы достигли более 112% производительности базовой модели LLongMA2-13b-16k, которую мы настроили поверх. Кроме того, мы сохраняем >98% производительности модели OpenOrcaxOpenChat-Preview2-13B, с которой мы делимся наборами данных, расширяя при этом контекст до 16 КБ. Мы провели это обучение в рамках настройки тестирования нашего кластера H100. Хотите визуализировать наш полный набор данных (предварительная фильтрация)? Ознакомьтесь с нашей картой Nomic Atlas. Большое спасибо @EnricoShippole, @theemozilla и @kaiokendev1 за прекрасную работу по созданию модели LlongMA-2-13b-16k, на основе которой было проведено обучение! Мы находимся в процессе обучения новых моделей, поэтому следите за обновлениями в нашей организации, которые скоро появятся у интересных партнеров. Мы также дадим краткий обзор…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Open-Orca
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 791
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
