tharun66/mistral-sql-gguf

A GGUF-quantized version of Mistral-7B fine-tuned for SQL query generation. Optimized for CPU inference with clean SQL outputs. — Base Model: Mistral-7B-Instruct-v0.3 — Quantization: Q8_0 — Context Length: 32768 tokens (default from base model) — Format: GGUF (V3 latest) — Size: 7.17 GB — Parameters: 7.25B — Architecture: Llama — Use Case: Text to SQL conversion python from huggingfacehub import hfhubdownload from llama_cpp import Llama modelpath = hfhubdownload( repoid=»tharun66/mistral-sql-gguf», filename=»mistralsqlq4.gguf» ) llm = Llama( modelpath=modelpath, nctx=512, nthreads=4, verbose=False ) d

Модальности:
Генерация текста

Области применения:
Текст в SQL Диалог / чат

Задача: Генерация текста
Автор: tharun66
Теги: gguf, text-to-sql, mistral, sql-generation, cpu-inference, en, endpoints_compatible, conversational
Лайков: 3  |  Загрузок: 0

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.