NSQL — это семейство авторегрессионных больших базовых моделей (FM) с открытым исходным кодом, разработанных специально для задач генерации SQL. В этом репозитории мы представляем нового члена NSQL — DuckDB-NSQL. Он основан на оригинальной модели Llama-2 7B от Meta и дополнительно предварительно обучен на наборе данных общих SQL-запросов, а затем точно настроен на наборе данных, состоящем из пар «текст-SQL» DuckDB. 200 тыс. пар «текст-SQL» DuckDB, синтетически сгенерированные с помощью Mixtral-8x7B-Instruct-v0.1 на основе документации DuckDB v0.9.2. И пары текст-SQL из NSText2SQL, которые были перенесены в DuckDB SQL с помощью sqlglot. Мы оцениваем наши модели с помощью специального теста DuckDB, который содержит 75 пар текста в SQL. Эталонный тест доступен здесь. DuckDB-NSQL был обучен с использованием перекрестной энтропийной потери, чтобы максимизировать вероятность последовательных входных данных. Для точной настройки пар текст-SQL мы вычисляем потери только для SQL-части пары. Модель обучается на устройствах A100 емкостью 80 ГБ с использованием данных и параллелизма моделей. Мы настроили 10 эпох. Модель была разработана для задач генерации текста в SQL на основе заданной схемы таблицы и подсказок на естественном языке. Модель лучше всего работает с форматом подсказки, определенным ниже, и…
Модальности:
Генерация текста
Области применения:
Текст в SQL
Задача: Генерация текста
Автор: motherduckdb
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 105 | Загрузок: 145
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
