Airoboros-L2-70B-2.1-Creative-AWQ
Чат По сравнению с GPTQ он обеспечивает более быстрое выполнение инференса на основе Transformers. Теперь он также поддерживается...
Чат По сравнению с GPTQ он обеспечивает более быстрое выполнение инференса на основе Transformers. Теперь он также поддерживается...
Чат По сравнению с GPTQ он обеспечивает более быстрое выполнение инференса на основе Transformers. Теперь он также поддерживается...
Чат По сравнению с GPTQ он обеспечивает более быстрое выполнение инференса на основе Transformers. Теперь он также поддерживается...
Чат По сравнению с GPTQ он обеспечивает более быстрое выполнение инференса на основе Transformers. Теперь он также поддерживается...
Чат Теперь AWQ также поддерживается сервером непрерывной пакетной обработки vLLM, что позволяет использовать модели AWQ для параллельного вывода...
Чат По сравнению с GPTQ он обеспечивает более быстрое выполнение инференса на основе Transformers. Теперь он также поддерживается...
Модель генерации текста Модальности:Генерация текста Задача: Генерация текста Автор: casperhansen Теги: opt, text-generation-inference, endpoints_compatible, 4-bit, awqЛайков: 2 | ...
Модель генерации текста Модальности:Генерация текста Задача: Генерация текста Автор: casperhansen Теги: RefinedWebModel, custom_code, text-generation-inference, endpoints_compatible, 4-bit, awqЛайков: 2...
Falcon-40b-Instruct is a 40B parameters causal decoder-only model built by TII based on Falcon-40B and finetuned on a...
MPT-30B-Instruct is a model for short-form instruction following. This model is a 4-bit 128 group size AWQ quantized...