SS-350M-SQL-Strict — это специализированный, легкий LLM, специально настроенный для решения единственной задачи перевода текста в SQL. Эта модель, построенная на архитектуре LiquidAI LFM2.5-350M, была разработана с учетом «строгого» протокола вывода: она генерирует только необработанный код SQL, исключая диалоговый заполнитель, блоки Markdown и пояснения, обычно встречающиеся в моделях общего назначения. Благодаря использованию 4-битной оптимизации QLoRA и Unsloth эта модель обеспечивает высокоскоростную генерацию SQL с малой задержкой, подходящую для периферийного развертывания и сред с ограниченными ресурсами. Модель была обучена с использованием специального конвейера для обеспечения строгой генерации кода. Ключевым отличием является использование маскировки потерь только при завершении, которая не позволяет модели тратить веса на изучение структуры приглашения, сосредотачивая 100% своих возможностей обучения на синтаксисе SQL. Модель продемонстрировала классическую «Г-образную» кривую сходимости. Первоначальная потеря началась с ~38,1 и успешно стабилизировалась между 8,0 и 11,0. Это плато указывает на то, что модель полностью усвоила структуру ChatML и логику сопоставления схемы SQL. Модель была обучена на наборе данных Gretel Synthetic SQL. Этот набор данных предназначен для охвата: …
Модальности:
Генерация текста
Области применения:
Текст в SQL Диалог / чат
Задача: Генерация текста
Автор: saadxsalman
Теги: lfm2, text-to-sql, liquid-ai, lfm, unsloth, qlora, synthetic-data, database
Лайков: 5 | Загрузок: 77
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
