— Создатель модели: Microsoft. — Исходная модель: Phi 3 mini 4k Instruct. Этот репозиторий содержит файлы моделей AWQ для Microsoft Phi 3 mini 4k Instruct. AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким весом, который в настоящее время поддерживает 4-битное квантование. По сравнению с GPTQ, он предлагает более быстрый вывод на основе преобразователей. Теперь он также поддерживается сервером непрерывной пакетной обработки vLLM, что позволяет использовать модели AWQ для высокопроизводительного параллельного вывода в сценариях с многопользовательским сервером. Обратите внимание, что на момент написания общая пропускная способность все еще ниже, чем при использовании vLLM с неквантованными моделями, однако использование AWQ позволяет использовать гораздо меньшие графические процессоры, что может привести к более простому развертыванию и общей экономии затрат. Например, модель 70B может работать на одном графическом процессоре емкостью 48 ГБ вместо двух графических процессоров по 80 ГБ. Phi-3-Mini-4K-Instruct — это легкая, современная открытая модель с 3,8 млрд параметров, обученная с использованием наборов данных Phi-3, которая включает в себя как синтетические данные, так и отфильтрованные данные общедоступных веб-сайтов с упором на высокое качество и обоснование плотных свойств. Модель принадлежит к семейству Phi-3 с версией Mini в двух вариантах: 4K и 128K, что соответствует длине контекста (в токенах), которую она…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Sreenington
Теги: mistral, AWQ, phi3, conversational, en, text-generation-inference, endpoints_compatible, 4-bit
Лайков: 5 | Загрузок: 786
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
