В этом репозитории размещены оптимизированные версии Phi-3-small-8k-instruct для ускорения вывода с помощью среды выполнения ONNX для ваших машин с графическими процессорами NVIDIA. Phi-3 Small — это облегченная современная открытая модель с параметром 7B, обученная с использованием наборов данных Phi-3, которые включают в себя как синтетические данные, так и отфильтрованные общедоступные данные веб-сайтов, с упором на высококачественные и обоснованные свойства. Модель принадлежит к семейству Phi-3 с маленькой версией в двух вариантах: 8K и 128K, которые представляют собой длину контекста (в токенах), которую они могут поддерживать. Базовая модель прошла процесс постобучения, который включает как контролируемую точную настройку, так и прямую оптимизацию предпочтений для следования инструкциям и мер безопасности. При сравнении с тестами, проверяющими здравый смысл, понимание языка, математику, код, длинный контекст и логическое рассуждение, Phi-3-Small-8K-Instruct продемонстрировал надежную и современную производительность среди моделей того же размера и следующего размера. Оптимизированные варианты моделей Phi-3 Small публикуются здесь в формате ONNX и работают с ONNX Runtime на графическом процессоре на всех устройствах, включая серверные платформы, Windows и Linux. Вот некоторые из оптимизированных…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: microsoft
Теги: onnx, phi3small, ONNX, DML, ONNXRuntime, phi3, nlp, conversational
Лайков: 14 | Загрузок: 68
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
