В этом репозитории размещены оптимизированные версии Phi-3-medium-128k-instruct для ускорения вывода с помощью среды выполнения ONNX для вашего процессора. Phi-3 Medium — это легкая, современная открытая модель с 14 параметрами, обученная с использованием наборов данных Phi-3, которые включают в себя как синтетические данные, так и отфильтрованные данные общедоступных веб-сайтов, с упором на высококачественные и обоснованные свойства. Модель принадлежит к семейству Phi-3 со средней версией в двух вариантах: 4K и 128K, которые представляют собой длину контекста (в токенах), которую они могут поддерживать. Базовая модель прошла процесс постобучения, который включает как контролируемую точную настройку, так и прямую оптимизацию предпочтений для следования инструкциям и мер безопасности. При сравнении с тестами, проверяющими здравый смысл, понимание языка, математику, код, длинный контекст и логическое мышление, Phi-3-Medium-128K-Instruct продемонстрировал надежную и современную производительность среди моделей того же размера и следующего размера. Оптимизированные варианты моделей Phi-3 Medium публикуются здесь в формате ONNX и работают с ONNX Runtime на процессорах и графических процессорах на всех устройствах, включая серверные платформы, Windows и Linux, с точностью, наиболее подходящей для…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: microsoft
Теги: onnx, phi3, ONNX, DML, ONNXRuntime, nlp, conversational, custom_code
Лайков: 14 | Загрузок: 76
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
