В этом репозитории размещены оптимизированные версии Phi-3-medium-4k-instruct для ускорения вывода с помощью DirectML и среды выполнения ONNX для ваших компьютеров с графическими процессорами. Phi-3 Medium — это легкая, современная открытая модель с 14 параметрами, обученная с использованием наборов данных Phi-3, которые включают в себя как синтетические данные, так и отфильтрованные данные общедоступных веб-сайтов, с упором на высококачественные и обоснованные свойства. Модель принадлежит к семейству Phi-3 со средней версией в двух вариантах: 4K и 128K, которые представляют собой длину контекста (в токенах), которую они могут поддерживать. Модель прошла процесс постобучения, который включает как контролируемую точную настройку, так и прямую оптимизацию предпочтений для следования инструкциям и мер безопасности. При сравнении с тестами, проверяющими здравый смысл, понимание языка, математику, код, длинный контекст и логическое мышление, Phi-3-Medium-4K-Instruct продемонстрировал надежную и современную производительность среди моделей того же размера и следующего размера. Оптимизированные варианты моделей Phi-3 Medium публикуются здесь в формате ONNX и работают с DirectML. Это позволяет разработчикам внедрять аппаратное ускорение на устройствах Windows в масштабе AMD, Intel и…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: microsoft
Теги: onnx, phi3, ONNX, DML, ONNXRuntime, nlp, conversational, custom_code
Лайков: 10 | Загрузок: 71
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
