Poro 2 8B Instruct — это модель чат-бота, следующего инструкциям, созданная посредством контролируемой точной настройки (SFT) и прямой оптимизации предпочтений (DPO) базовой модели Poro 2 8B. Эта модель предназначена для диалоговых приложений искусственного интеллекта и выполнения инструкций на финском и английском языках. Обучение проводилось на тщательно подобранном сочетании данных об обучении на английском и финском языках с последующей настройкой предпочтений для улучшения качества ответов. Poro 2 был создан в результате сотрудничества AMD Silo AI, группы TurkuNLP Университета Турку и High Performance Language Technologies (HPLT). Обучение проводилось на суперкомпьютере LUMI с использованием вычислительных ресурсов, щедро предоставленных CSC – Научным центром информационных технологий, Финляндия. Эта модель демонстрирует, как продолжительное предварительное обучение с последующей настройкой инструкций может эффективно добавлять новые языковые возможности к существующим моделям, сохраняя при этом сильные разговорные способности как на исходном, так и на целевом языках. Более подробную информацию о нашем конвейере обучения и генерации данных можно найти в нашем Пособии по непрерывному предварительному обучению. Семейство моделей Poro 2 включает модели 8B и 70B, а модели Poro 2 выпущены в трех различных версиях:…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: LumiOpen
Теги: tensorboard, llama, conversational, fi, en, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 3,749
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
