Запуск Phi3-mini-4K полностью в браузере! Посмотрите это демо. В этом репозитории размещена оптимизированная веб-версия модели ONNX Phi-3-mini-4k-instruct для ускорения вывода в браузере с помощью ONNX Runtime Web. Phi-3-Mini-4K-Instruct — это легкая, современная открытая модель с 3,8 млрд параметров, обученная с использованием наборов данных Phi-3, которая включает в себя как синтетические данные, так и отфильтрованные данные общедоступных веб-сайтов с упором на высокое качество и обоснование плотных свойств. При сравнении с тестами, проверяющими здравый смысл, понимание языка, математику, код, длинный контекст и логическое мышление, Phi-3 Mini-4K-Instruct продемонстрировал надежную и современную производительность среди моделей с менее чем 13 миллиардами параметров. ONNX Runtime Web — это библиотека JavaScript, позволяющая веб-разработчикам развертывать модели машинного обучения непосредственно в веб-браузерах, предлагая несколько серверных частей, использующих аппаратное ускорение. Для эффективной работы Phi-3-mini рекомендуется использовать серверную часть WebGPU. Вот пример E2E для запуска этого оптимизированного Phi3-mini-4K для Интернета со средой выполнения ONNX, использующей WebGPU. Поддерживаемые устройства и браузер с WebGPU: Chrome 113+ и Edge 113+ для Mac, Windows, ChromeOS и…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: microsoft
Теги: transformers.js, onnx, phi3, ONNX, ONNXRuntime, ONNXRuntimeWeb, nlp, conversational
Лайков: 25 | Загрузок: 108
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
