В этом репозитории размещены оптимизированные версии Phi-3-medium-4k-instruct для ускорения вывода с помощью среды выполнения ONNX для ваших машин с графическими процессорами NVIDIA. Phi-3 Medium — это легкая, современная открытая модель с 14 параметрами, обученная с использованием наборов данных Phi-3, которые включают в себя как синтетические данные, так и отфильтрованные данные общедоступных веб-сайтов, с упором на высококачественные и обоснованные свойства. Модель принадлежит к семейству Phi-3 со средней версией в двух вариантах: 4K и 128K, которые представляют собой длину контекста (в токенах), которую они могут поддерживать. Базовая модель прошла процесс постобучения, который включает как контролируемую точную настройку, так и прямую оптимизацию предпочтений для следования инструкциям и мер безопасности. При сравнении с тестами, проверяющими здравый смысл, понимание языка, математику, код, длинный контекст и логическое мышление, Phi-3-Medium-4K-Instruct продемонстрировал надежную и современную производительность среди моделей того же размера и следующего размера. Оптимизированные варианты моделей Phi-3 Medium публикуются здесь в формате ONNX и работают с ONNX Runtime на процессорах и графических процессорах на всех устройствах, включая серверные платформы, Windows и Linux, с…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: microsoft
Теги: onnx, phi3, ONNX, DML, ONNXRuntime, nlp, conversational, custom_code
Лайков: 11 | Загрузок: 66
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
