Для точной настройки LLaMA-13B мы использовали наш собственный набор данных OpenOrca. Этот набор данных является нашей попыткой воспроизвести набор данных, созданный для Orca Paper компании Microsoft Research. Мы обучили менее 6% наших данных, просто чтобы дать представление о том, что возможно, пока мы будем совершенствовать наш набор данных! Мы обучили уточненную выборку из 200 тысяч записей GPT-4 из OpenOrca. Мы отфильтровали наши дополнения GPT-4, чтобы удалить такие утверждения, как «Как модель языка искусственного интеллекта…» и другие ответы, которые, как было показано, наносят вред возможностям модели. Более подробная информация о наших методах курирования наборов данных будет опубликована вместе с полными версиями моделей. В этом выпуске подчеркивается, что даже небольшая часть наших обучающих данных может дать самые современные результаты в этом классе моделей с учетом затрат на обучение. Хотите визуализировать наш полный набор данных (предварительная фильтрация)? Ознакомьтесь с нашей картой Nomic Atlas. Мы находимся в процессе обучения новых моделей, поэтому следите за обновлениями в нашей организации, которые скоро появятся у интересных партнеров. Мы также будем публиковать краткие объявления на нашем Discord, которые вы можете найти здесь: Мы оценили OpenOrca-Preview1-13B на сложных задачах рассуждения от BigBench-Hard и AGIEval, как описано в документе Orca. В…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Open-Orca
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 144 | Загрузок: 32
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
