This is Llama-3.1_OpenScholar-8B with AWQ Quantization applied using the following code.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: NeuML
Теги: llama, llama-3.1, autoawq, conversational, en, text-generation-inference, endpoints_compatible, 4-bit
Лайков: 3 | Загрузок: 28
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
This model is a fine-tuned version of the Mistral-7B-Instruct-v0.3 optimised for answering questions in the domain of forensic...
Это 2-битное квантование mistralai/Mixtral-8x7B-Instruct-v0.1 с использованием QuIP#. В качестве альтернативы вы можете использовать ветку vLLM для более быстрого...
За последние три месяца мы продолжали масштабировать способность мышления Qwen3-30B-A3B, улучшая как качество, так и глубину рассуждений. Мы...
> Please refer to our new GitHub Wiki which documents our efforts in detail in creating the open...
