Мы использовали наш собственный набор данных OpenOrca для точной настройки поверх Mistral 7B. Этот набор данных является нашей попыткой воспроизвести набор данных, созданный для Orca Paper компании Microsoft Research. Мы используем упаковку OpenChat, обученную с помощью Axolotl. Эта модель выпущена как демонстрация производительности нашего нового курируемого подмножества данных OpenOrca: SlimOrca. Этот новый выпуск набора данных обеспечивает эффективные средства достижения производительности, сравнимой с использованием более крупных фрагментов наших данных, при этом включая только ~500 тыс. завершений GPT-4. Согласно оценкам HF Leaderboard, эта модель находится на одном уровне с нашей недавней версией MistralOrca, которая недавно была моделью №1 на момент выпуска. Мы находимся в процессе обучения новых моделей, поэтому следите за обновлениями в нашей организации, которые скоро появятся у интересных партнеров. Мы также будем публиковать краткие объявления на нашем Discord, который вы можете найти здесь: или посетите коллективный Discord OpenAccess AI для получения дополнительной информации о тренере Axolotl здесь: Мы использовали формат языка разметки чата OpenAI (ChatML) с добавлением токенов и для поддержки этого. Это значит, что, например, в oobabooga должен работать шаблон инструкции «MPT-Chat», так как он тоже использует ChatML. Это форматирование также доступно через…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Open-Orca
Теги: mistral, en, text-generation-inference, endpoints_compatible
Лайков: 35 | Загрузок: 861
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
