ai2sql/ai2sql_mistral_7b - Каталог нейросетей
Генерация текста

ai2sql/ai2sql_mistral_7b

Добавлено:

AI2sql — это современная большая языковая модель (LLM) для преобразования вопросов на естественном языке в SQL-запросы. В этой карточке модели представлена донастройка модели Mistral-7b с использованием библиотеки PEFT и bitsandbytes для загрузки больших моделей в 4-битном формате. В блокноте продемонстрирована донастройка с помощью адаптеров низкого ранга (LoRA), которая позволяет донастраивать только адаптеры, а не всю модель. Процесс разработан для удобства использования с Google Colab и применим к моделям, поддерживающим device_map. Для донастройки используется набор данных по финансам из Wikisql, при этом 10% данных используются для демонстрации процесса. Данные подготавливаются в формате промпта для лучшего понимания моделью. Обучение включает в себя несколько этапов: 1. Установка необходимых пакетов: установка требуемых библиотек из их источника. 2. Загрузка модели: использование квантования QLoRA для загрузки модели, что позволяет снизить потребление памяти. 3. Подготовка набора данных: токенизация и разделение набора данных для обучения и тестирования. 4. Применение LoRA: использование PEFT для применения адаптеров с низким рангом к модели. 5. Запуск обучения: реализация обучения с использованием определенных аргументов и демонстрация процесса с помощью демо-конфигурации. 6. Оценка модели: качественная…

Модальности:
Генерация текста

Области применения:
Текст в SQL


Задача: Генерация текста
Автор: ai2sql
Теги: peft, mistral-7b, lora, en
Лайков: 2  |  Загрузок: 11

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.