MistralLite-AWQ — это версия модели MistralLite, квантованная с использованием метода AWQ, разработанного Лином и др. (2023). Модели MistralLite-AWQ примерно на 70% меньше моделей MistralLite, сохраняя при этом сопоставимую производительность. Пожалуйста, обратитесь к оригинальной карточке модели MistralLite для получения подробной информации о процессах подготовки и обучения модели. — autoawq==0.2.5 – AutoAWQ использовался для квантования модели MistralLite. — vllm==0.4.2 – vLLM использовался для размещения моделей для сравнительного анализа. Следующие результаты тестов показаны как значения точности (%), если не указано иное. См. https://lmsys.org/blog/2023-06-29-longchat/#longeval-results См. https://github.com/epfml/landmark-attention/blob/main/llama/run_test.py#L101. Прежде чем использовать модель MistralLite-AWQ, важно провести собственную независимую оценку и принять меры, гарантирующие, что ее использование будет соответствовать вашим собственным конкретным практикам и стандартам контроля качества, а также что ваше использование будет соответствовать местным правилам, законам, положениям, лицензиям и условиям, применимым к вам и вашему контенту.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: amazon
Теги: mistral, text-generation-inference, 4-bit, awq
Лайков: 6 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
