Тщательно настроенная модель Qwen3-4B для преобразования вопросов на естественном языке в запросы SQL. Эта модель параметров 4B, обученная с использованием анализа знаний из DeepSeek-V3, соответствует точности уровня преподавателя, но при этом достаточно мала для локального запуска. Точно настроенная модель соответствует учителю параметров 685B по точности LLM-as-a-Judge и превосходит его по точному совпадению и баллам ROUGE. Для локального вывода используйте квантованные версии GGUF: — distil-qwen3-4b-text2sql-gguf — GGUF полной точности — distil-qwen3-4b-text2sql-gguf-4bit — 4-битный квантованный (~2,5 ГБ) 1. Исходные данные: 50 проверенных вручную примеров Text2SQL, охватывающих различные сложности SQL 2. Синтетическая генерация: расширено до ~10 000 примеров с использованием DeepSeek-V3 3. Точная настройка: 4 эпохи синтетического набора данных 4. Оценка: LLM-as-a-Judge с проверкой семантической эквивалентности — Эпохи: 4 — Скорость обучения: 5e-5 (косинусный график) — Размер пакета: 1 (с накоплением градиента) — Всего шагов: ~ 40 000 Одиночный SQL-запрос с: — Ключевые слова SQL в верхнем регистре (ВЫБРАТЬ, ОТ, ГДЕ и т. д.) — Синтаксис, совместимый с SQLite — Никаких объяснений или дополнительного текста — Простой: SELECT, WHERE, COUNT, SUM, AVG, MAX, MIN — Средний: JOIN, GROUP BY, HAVING, ORDER BY, LIMIT — Сложный: подзапросы,…
Модальности:
Генерация текста
Области применения:
Текст в SQL Диалог / чат
Языки программирования:
SQL
Задача: Генерация текста
Автор: distil-labs
Теги: qwen3, text2sql, sql, nlp, distillation, conversational, en, text-generation-inference
Лайков: 12 | Загрузок: 172
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
