Описание: Эта модель представляет собой доработанную версию Code Llama 2 с 13 миллиардами параметров, специально предназначенную для задач преобразования текста в SQL. Он был обучен генерировать запросы SQL на основе схемы базы данных и вопроса на естественном языке. — Базовая модель: codellama/CodeLlama-13b-Instruct-hf — Набор данных для точной настройки: bugdaryan/sql-create-context-instruction — Время обучения: примерно 4 часа на 2 графических процессорах V100 32 ГБ — use4bit: True — bnb4bitcomputedtype: float16 — bnb4bitquanttype: nf4 — usenestedquant**: False — Количество тренировок Эпохи: 1 — Обучение со смешанной точностью (fp16/bf16): Ложь — Размер пакета на графический процессор для обучения: 32 — Размер пакета на каждый графический процессор для оценки: 4 — Шаги накопления градиента: 1 — Контрольная точка градиента: Истина — Максимальная норма градиента (отсечение градиента): 0,3 — Начальная скорость обучения: 2e-4 — Затухание веса: 0,001 — Оптимизатор: pagedadamw32bit — Тип планировщика скорости обучения: косинус — Максимальное количество шагов: -1 — Коэффициент разминки: 0,03 — Группировать последовательности по длине: True — Сохранять контрольную точку каждые X шагов обновления: 0 — Регистрировать каждые X шагов обновления: 25 Эта модель регулируется специальной коммерческой лицензией от Code Llama. Подробную информацию см. на странице: Случаи предполагаемого использования специальной коммерческой лицензии: Эта модель…
Модальности:
Генерация текста
Области применения:
Генерация кода Следование инструкциям Текст в SQL
Задача: Генерация текста
Автор: bugdaryan
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 28 | Загрузок: 44
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
