Это репозиторий для модели CodeLlama-7b, настроенной на наборе данных KStack с фильтрацией на основе правил, в формате Hugging Face Transformers. KStack — это крупнейшая коллекция лицензированного кода Kotlin, поэтому модель точно настроена для лучшей работы с кодом Kotlin. Как и в случае с базовой моделью, мы можем использовать FIM. Для этого необходимо использовать следующий формат: Модель была обучена на одном графическом процессоре A100 со следующими гиперпараметрами: Более подробную информацию о тонкой настройке можно найти в техническом отчете (скоро!). Для настройки модели мы использовали набор данных KStack, самую большую коллекцию лицензированного кода Kotlin. Чтобы повысить качество набора данных и отфильтровать выбросы, такие как домашние задания, мы отфильтровываем записи набора данных по следующим правилам: Отфильтровываем файлы, принадлежащие малопопулярным репозиториям (сумма звездочек и вилок меньше 6). Далее отфильтровываем файлы, принадлежащие репозиториям с менее чем 5 файлами Kotlin. удалить все записи, отличные от ASCII. Мы удаляем все строки пакета, такие как…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: JetBrains
Теги: llama, code, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
