Модель Transformer, предназначенная только для декодера параметров 1B, обученная на коде с использованием цели с причинно-следственной маской, которая позволяет вставлять/заполнять код, а также стандартную генерацию слева направо. Модель была обучена на общедоступных репозиториях с открытым исходным кодом с разрешительной лицензией без авторского лева (Apache 2.0, MIT, BSD-2 или BSD-3) от GitHub и GitLab, а также StackOverflow. Репозитории в основном содержали Python и JavaScript, но также включали код из 28 языков, а также StackOverflow. Более крупная модель параметров 6B также доступна на Facebook/incoder-6B. pytorch, токенизаторы и преобразователи. Наша модель требует токенизаторов HF >= 0.12.1 из-за изменений в претокенизаторе. model = AutoModelForCausalLM.frompretrained(«facebook/incoder-1B»)` tokenizer = AutoTokenizer.frompretrained(«facebook/incoder-1B»)` (Примечание: токенизаторы incoder-1B и incoder-6B идентичны, поэтому также можно использовать «facebook/incoder-6B».) При вызове tokenizer.decode важно передать cleanuptokenizationspaces=False`, чтобы избежать удаления пробелов после знаков препинания. Например: tokenizer.decode(tokenizer.encode(«from .), cleanuptokenizationspaces=False)` (Примечание: кодирование добавляет токен в начало, поскольку это отмечает…
Модальности:
Генерация текста
Области применения:
Генерация кода
Языки программирования:
Python JavaScript
Задача: Генерация текста
Автор: facebook
Теги: xglm, code, python, javascript, endpoints_compatible
Лайков: 40 | Загрузок: 1,810
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
