Это репозиторий для модели CodeLlama-7b, настроенной на очищенном наборе данных KStack с фильтрацией на основе правил в формате Hugging Face Transformers. KStack-clean — это небольшое подмножество KStack, крупнейшей коллекции лицензированного кода Kotlin, автоматически фильтруемого для включения файлов, имеющих наибольшую «образовательную ценность для изучения алгоритмов Kotlin». Как и в случае с базовой моделью, мы можем использовать FIM. Для этого необходимо использовать следующий формат: Модель была обучена на одном графическом процессоре A100 со следующими гиперпараметрами: Более подробную информацию о тонкой настройке можно найти в техническом отчете (скоро!). Для настройки модели мы использовали 25 тысяч примеров из набора данных KStack-clean, выбранных из более крупного набора данных KStack в соответствии с образовательной ценностью для алгоритмов обучения. Всего набор данных содержит около 23 миллионов токенов. Для оценки мы использовали набор данных Kotlin HumanEval, который содержит все 161 задачу из HumanEval, переведенные в Kotlin экспертами-людьми. Более подробную информацию о предварительной обработке, необходимой для получения наших результатов, включая код для запуска, вы можете найти на странице наборов данных. CodeLlama-7B-KStack-clean — это новая технология, использование которой сопряжено с риском. …
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: JetBrains
Теги: llama, code, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
