Это версия Llama 2, настроенная с помощью инструкций чата Meta, дополнительно доработанная на более чем 80 000 образцах кода. Набор данных представляет собой комбинацию Evol-Instruct-Code-80k-v1 от Nicrosh, репликацию Evol-Instruct-Code, как описано в статье WizardCoder, и GPTeacher от Teknium. Особая благодарность этим людям за объединение этих наборов данных. Наш процесс тонкой настройки включал изучение весов QLoRA более 6 часов на одном A100. Мы объединили веса адаптера в предварительно обученную модель. Рекомендуемое приглашение модели является вариантом стандартного формата Llama 2: я подозреваю, что именно этот формат приглашения является причиной большинства расширенных возможностей кодирования, а не самой точной настройки, но YMMV. В настоящее время оценки находятся недалеко от ~vibes~. Рассмотрю возможность проведения полного набора оценок будущих моделей. Этот проект в основном предназначен только для изучения и лучшего понимания процесса тонкой настройки. — Сократите набор данных и, возможно, настройте его дольше. — Запустите тесты. — Предоставьте GPTQ.
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: GenerativeMagic
Теги: llama, code, llama2, en, endpoints_compatible
Лайков: 5 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
