L3-70B-Euryale-v2.1-AWQ
Модель генерации текста Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: anyisalin Теги: llama, conversational, text-generation-inference,...
Метка: 4-bit
Midnight-Miqu-70B-v1.5-4bit
Модель генерации текста Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: cecibas Теги: llama, conversational, text-generation-inference,...
Qwen2-0.5B-bnb-4bit
We have a Google Colab Tesla T4 notebook for Qwen2 7b here: https://colab.research.google.com/drive/1mvwsIQWDs2EdZxZQF9pRGnnOvE86MVvR?usp=sharing And a Colab notebook for...
Qwen2-1.5B-Instuct-int4-inc
This model is an int4 model with groupsize 32 sym of Qwen/Qwen2-1.5B-Instruct generated by intel/auto-round, we will generate...
Llama2_quantize_4bit
Модель генерации текста Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: parsawar Теги: llama, conversational, text-generation-inference,...
granite-34b-code-instruct-awq
Модель генерации текста Модальности:Генерация текста Области применения:Диалог / чат Генерация кода Следование инструкциям Задача: Генерация текста Автор: KnutJaegersberg...
Llama3-70B-Chinese-Chat-AWQ-32k
Этот репозиторий предоставляет 4-разрядную квантованную версию AWQ на основе полнопараметрической точно настроенной модели Llama3-70B-Chinese-Chat от shenzhi-wang (https://huggingface.co/shenzhi-wang/Llama3-70B-Chinese-Chat). Оригинальная...
phi-3-mini-128k-instruct-awq
This repo includes a Version of Phi-3 that was quantized to AWQ using AutoAWQ. Currently hosting via the...
llama-3-8b-bangla-4bit
— Developed by: KillerShoaib — License: apache-2.0 — Finetuned from model : unsloth/llama-3-8b-bnb-4bit — Datset used for fine-tuning...
typhoon-v1.5-72b-instruct-awq
Typhoon-1.5-72B-instruct: Thai Large Language Model (Instruct-AWQ) Typhoon-1.5-72B-instruct is a instruct Thai 🇹🇭 large language model with 72 billion parameters, and it...