Модель Transformer, предназначенная только для декодера параметров 6B, обученная на коде с использованием цели с причинно-следственной маской, которая позволяет вставлять/заполнять код, а также стандартную генерацию слева направо. Модель была обучена на общедоступных репозиториях с открытым исходным кодом с разрешительной лицензией без авторского лева (Apache 2.0, MIT, BSD-2 или BSD-3) от GitHub и GitLab, а также StackOverflow. Репозитории в основном содержали Python и JavaScript, но также включали код из 28 языков, а также StackOverflow. Модель меньшего размера с параметрами 1B также доступна на Facebook/incoder-1B. pytorch, токенизаторы и преобразователи. Наша модель требует токенизаторов HF >= 0.12.1 из-за изменений в претокенизаторе. Эта модель 6B поставляется в двух версиях: с весами полной точности (float32, хранится в основной ветке) и весами с половинной точностью (float16, хранится в ветке float16). Версии можно загрузить следующим образом: Полная точность (float32): следует использовать, если вы выполняете точную настройку модели (примечание: для этого потребуется много памяти графического процессора, возможно, нескольких графических процессоров, и мы не пробовали обучать модель в преобразователях — она была обучена в Fairseq). Загрузите с помощью: model = AutoModelForCausalLM.frompretrained(«facebook/incoder-6B»)`…
Модальности:
Генерация текста
Области применения:
Генерация кода
Языки программирования:
Python JavaScript
Задача: Генерация текста
Автор: facebook
Теги: xglm, code, python, javascript, endpoints_compatible
Лайков: 80 | Загрузок: 147
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
