Мы обучили модель параметров Microsoft Research phi-1.5, 1.3B с тем же набором данных OpenOrca, который мы использовали с нашей моделью OpenOrcaxOpenChat-Preview2-13B. Эта модель не значительно улучшает общую производительность задач базовой модели, но настройка инструкций позволила модели надежно обрабатывать формат приглашений ChatML. Мы пока провели лишь ограниченное тестирование. Контрольная точка эпохи 3.5 получила оценку выше 5,1 на MT-Bench (лучше, чем Alpaca-13B, хуже, чем Llama2-7b-chat), в то время как предварительные тесты показывают, что пиковая средняя производительность была достигнута примерно в эпоху 4. Обучение с точной настройкой полных параметров на 8x RTX A6000-48GB (Ampere) в течение 5 эпох в течение 62 часов. (12,5 часов в эпоху) при себестоимости 390 долларов США (80 долларов США в эпоху). Мы не использовали упаковку MultiPack, так как обучение было начато до реализации ее поддержки в Аксолотле для этого нового типа модели. В этот репозиторий мы загрузили контрольные точки каждой половины эпохи прогресса. Существуют ветки/теги для загрузок эпох 3 и 4. Это должно позволить, например, с помощью oobabooga загрузить Open-Orca/oo-phi-15:ep4`, чтобы выбрать контрольную точку эпохи 4 для загрузки конкретно. Мы использовали формат языка разметки чата OpenAI (ChatML) с добавлением токенов и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Open-Orca
Теги: mixformer-sequential, custom_code, en
Лайков: 32 | Загрузок: 29
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
