NSQL — это семейство авторегрессионных больших базовых моделей (FM) с открытым исходным кодом, разработанных специально для задач генерации SQL. Контрольная точка, включенная в этот репозиторий, основана на CodeGen-Multi 2B от Salesforce и дополнительно предварительно обучена на наборе данных общих запросов SQL, а затем точно настроена на наборе данных, состоящем из пар «текст-SQL». Общие SQL-запросы — это подмножество SQL из The Stack, содержащее 1 миллион обучающих выборок. Размеченные пары «текст-SQL» взяты из более чем 20 общедоступных источников в сети из стандартных наборов данных. Мы предоставляем наборы данных Spider и GeoQuery для использования в оценке. Мы оцениваем наши модели с помощью двух тестов преобразования текста в SQL: Spider и GeoQuery. NSQL был обучен с использованием перекрестной энтропийной потери, чтобы максимизировать вероятность последовательных входных данных. Для точной настройки пар текст-SQL мы вычисляем потери только для SQL-части пары. Семейство моделей обучается на устройствах A100 емкостью 80 ГБ, используя данные и параллелизм моделей. Мы предварительно обучили 3 эпохи и настроили 10 эпох. Модель была разработана для задач генерации текста в SQL на основе заданной схемы таблицы и подсказок на естественном языке. Модель лучше всего работает с форматом приглашения, определенным ниже, и выводом SELECT…
Модальности:
Генерация текста
Области применения:
Текст в SQL
Задача: Генерация текста
Автор: NumbersStation
Теги: codegen, endpoints_compatible
Лайков: 9 | Загрузок: 958
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
