Inkbot-13B-8k-0.2-AWQ
Chat & support: TheBloke’s Discord server Want to contribute? TheBloke’s Patreon page TheBloke’s LLM work is generously supported...
Chat & support: TheBloke’s Discord server Want to contribute? TheBloke’s Patreon page TheBloke’s LLM work is generously supported...
Chat & support: TheBloke’s Discord server Want to contribute? TheBloke’s Patreon page TheBloke’s LLM work is generously supported...
Чат По сравнению с GPTQ он обеспечивает более быстрое выполнение инференса на основе Transformers. Теперь он также поддерживается...
Квантованная модель AWQ с использованием https://github.com/casper-hansen/AutoAWQ. Модальности:Генерация текста Области применения:Следование инструкциям Задача: Генерация текста Автор: casperhansen Теги: mistral,...
Чат По сравнению с GPTQ он обеспечивает более быстрое выведение на основе Transformers. Теперь он также поддерживается сервером...
Чат По сравнению с GPTQ он обеспечивает более быстрое выведение на основе Transformers. Теперь он также поддерживается сервером...
Чат Теперь он также поддерживается сервером непрерывной пакетной обработки vLLM, что позволяет использовать модели Llama AWQ для параллельного...
Chat & support: TheBloke’s Discord server Want to contribute? TheBloke’s Patreon page TheBloke’s LLM work is generously supported...
Chat & support: TheBloke’s Discord server Want to contribute? TheBloke’s Patreon page TheBloke’s LLM work is generously supported...
Chat & support: TheBloke’s Discord server Want to contribute? TheBloke’s Patreon page TheBloke’s LLM work is generously supported...