Эластичные модели — это модели, созданные TheStage AI ANNA: Automated Neural Networks Accelerator. ANNA позволяет управлять размером модели, задержкой и качеством с помощью простого движения ползунка. Для каждой модели АННА производит серию оптимизированных моделей: XL__: Математически эквивалентная нейронная сеть, оптимизированная с помощью нашего компилятора DNN. L__: Модель почти без потерь с деградацией менее 1%, полученной на соответствующих эталонах. M__: Более быстрая модель с ухудшением точности менее 1,5%. S__: Самая быстрая модель, с ухудшением точности менее 2%. Обеспечьте гибкость в выборе стоимости и качества для вывода. Обеспечьте четкие эталоны качества и задержки. Обеспечьте интерфейс библиотек ВЧ: трансформаторы и диффузоры с одной строкой кода. Обеспечьте модели, поддерживаемые на широком спектре аппаратных средств, которые предварительно скомпилированы и не требуют JIT. * Предоставьте лучшие модели и сервис для самостоятельного размещения. > Важно отметить, что конкретное ухудшение качества может варьироваться от модели к модели. Например, с S-моделью вы также можете иметь деградацию 0,5%. Бенчмаркинг — одна из важнейших процедур при ускорении модели. Мы стремимся обеспечить четкие показатели производительности для моделей…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheStageAI
Теги: zho, eng, fra, spa, por, deu, ita, rus
Лайков: 4 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
