NSQL — это семейство авторегрессионных больших базовых моделей (FM) с открытым исходным кодом, разработанных специально для задач генерации SQL. В этом репозитории мы представляем нового члена NSQL SambaCoder-nsql-llama-2-70b. Он основан на оригинальной модели Llama-2 70B от Meta и дополнительно предварительно обучен на наборе данных общих SQL-запросов, а затем точно настроен на наборе данных, состоящем из пар «текст-SQL». Использование этой модели регулируется Лицензионным соглашением сообщества Meta’s Llama 2. Пожалуйста, просмотрите и примите лицензию перед загрузкой весов модели и токенизатора. Общие запросы SQL — это подмножество SQL из The Stack, содержащее 1 млн обучающих выборок. Размеченные пары текста в SQL взяты из набора данных NSText2SQL (https://huggingface.co/datasets/NumbersStation/NSText2SQL). Мы оцениваем наши модели с помощью трех тестов преобразования текста в SQL: Spider, Bird и text2sql. SambaCoder-nsql-llama-2-70b был обучен с использованием перекрестной энтропийной потери, чтобы максимизировать вероятность последовательных входных данных. Для точной настройки пар текст-SQL мы вычисляем потери только для SQL-части пары. Модель обучается с использованием собственного модуля реконфигурируемого потока данных (RDU) SambaNova, который использует параллелизм данных и моделей. Мы…
Модальности:
Генерация текста
Области применения:
Генерация кода Текст в SQL
Задача: Генерация текста
Автор: sambanovasystems
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
