Модель генерации текста
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: gghfez
Теги: mistral, text-generation-inference, awq, conversational, endpoints_compatible, 4-bit
Лайков: 4 | Загрузок: 7,405
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Cotype-Nano-CPU – это легковесная LLM, специально оптимизированная под CPU* с помощью каркаса openVINO Cotype-Nano-CPU – это облегченная LLM,...
Этот квант изменил часть кода модели, чтобы устранить проблему переполнения при использовании float16. Для обслуживания с использованием vLLM...
— Это квантованная версия Gradientai/Llama-3-8B-Instruct-Gradient-1048k, созданная с использованием llama.cpp. Gradient включает ваши данные для развертывания автономных помощников, которые...
Исходная модель: https://huggingface.co/deepseek-ai/DeepSeek-V3.1 Все кванты, созданные с использованием опции imatrix с набором данных отсюда, в сочетании с подмножеством...
