Декомпилятор Sentient Simulations AI Python — это тонкая настройка на базе deepseek-ai/deepseek-coder-6.7b для конкретной задачи декомпиляции байт-кода Python 3.7 обратно в исходный исходный код Python. В данных декомпилятора Python Sentient Simulations AI использовался исходный код Python 3.7, который затем компилировался в байт-код. Байт-код использовался в качестве входных данных, а исходный код использовался в качестве выходных данных, чтобы научить модель генерировать исходный исходный код из байт-кода Python. Ниже приведены шаги по подготовке данных. 1. Возьмите тонну кода Python или используйте что-то вроде The Stack v2 и скомпилируйте его, используя ту версию Python, которую вы хотите использовать. 1. Выбросьте любой код, который не компилируется в эту версию Python. 1. Удалите все комментарии из кода. 1. Отформатируйте весь код, используя черный цвет Python для согласованности. 1. Отформатируйте байт-код таким образом, чтобы уменьшить количество токенов и облегчить чтение для ИИ. Сначала я пробовал использовать специальные токены, но получилось непоследовательно. Результаты 1. Создание пар ввода-вывода для обучающих данных. 1. Упаковка образцов аксолотля использовалась для подготовки данных с постоянным контекстом из 16 тыс. токенов. Модель обучалась в течение 4 дней на 3×3090 с использованием Deepspeed Zero 3 Offload в контексте 16 тыс. 1.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: GusPuffy
Теги: llama, Axolotl, Deepspeed, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
