Это те же модели, что и официальная модель phi3 onnx, с небольшими изменениями, чтобы она работала для onnxruntime-web: 1. модель — fp16 с квантованием блоков int4 для весов 2. вывод «логитов» — fp32 3. модель использует MHA вместо GQA 4. размер onnx и внешнего файла данных должен оставаться ниже 2 ГБ, чтобы его можно было кэшировать в Chromium. Если вы еще этого не сделали, вы можете установить Библиотека JavaScript Transformers.js из NPM с использованием:
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Xenova
Теги: transformers.js, onnx, phi3, ONNX, DML, ONNXRuntime, nlp, conversational
Лайков: 21 | Загрузок: 684
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
