Компактная Python-фокусированная причинно-следственная языковая модель, обученная случайной инициализацией JumpLander. JL-Code — это строка кодовой модели JumpLander для конкретного языка. Каждая ветвь предназначена для того, чтобы сосредоточиться на одном языке программирования, а не смешивать каждый язык в одну небольшую контрольную точку. Запланированные названия носят направленный характер и не подразумевают, что эти контрольно-пропускные пункты уже освобождены. Точная машиночитаемая архитектура доступна в config.json. Имя репозитория использует 97M, чтобы отразить точную архитектуру более честно, чем округляя его до 100M. Файл токенизатора, необходимый для вывода, — tokenizer.json. Набор данных не был передан непосредственно в обучение. В локальном конвейере применена дополнительная фильтрация и преобразование: 1. Потоковые записи Python из Hugging Face; 2. Нормализуйте окончания строк и удалите нулевые байты; 3. Отклоните очень короткие или негабаритные файлы; 4. обнаруживать вероятные учетные данные, ключи и блоки закрытых ключей; 5. отклонять сгенерированные или минифицированные файлы; 6. проверять Python с помощью ast.parse; 7. разделять большие исходные файлы на границах функций/классов Python, где это возможно; 8. удалять точные дубликаты с помощью SHA-256; 9. создавать детерминированные разделения поездов, валидации и тестов; 10. извлекать…
Модальности:
Генерация текста
Области применения:
Генерация кода Дополнение кода
Языки программирования:
Python
Задача: Генерация текста
Автор: jumplander
Теги: jl_code_python, code, python, python-code, code-generation, code-completion, causal-language-modeling, decoder-only
Лайков: 4 | Загрузок: 36
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
