Фи-2 — Трансформер с 2,7 миллиардами параметров. Он был обучен с использованием тех же источников данных, что и Phi-1.5, дополненных новым источником данных, состоящим из различных синтетических текстов НЛП и отфильтрованных веб-сайтов (в целях безопасности и образовательной ценности). При сравнении с тестами, проверяющими здравый смысл, понимание языка и логическое мышление, Phi-2 продемонстрировал почти современную производительность среди моделей с менее чем 13 миллиардами параметров. Наша модель не была доработана с помощью обучения с подкреплением на основе отзывов людей. Целью создания этой модели с открытым исходным кодом является предоставление исследовательскому сообществу неограниченной небольшой модели для изучения жизненно важных проблем безопасности, таких как снижение токсичности, понимание социальных предубеждений, повышение управляемости и многое другое. Эта модель была оптимизирована путем доработки сценариев для повышения производительности DirectML (DML). Процесс оптимизации включает в себя упрощение реализации и объединение операторов для ускорения вывода модели. Эти оптимизированные версии размещены в примерах на сайте DirectML GitHub. Несмотря на изменения, контрольные точки исходной модели остаются совместимыми, хотя некоторые веса требуют обновлений, чтобы…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: microsoft
Теги: phi, nlp, code, en, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 606
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
