replit-code-v1-3b — это причинно-следственная языковая модель объемом 2,7 миллиарда долларов, ориентированная на автодополнение кода. Модель была обучена на подмножестве набора данных Stack Dedup v1.2. В обучающую смесь входят 20 различных языков, перечисленных здесь в порядке убывания количества токенов: Markdown, Java, JavaScript, Python, TypeScript, PHP, SQL, JSX, reStructuredText, Rust, C, CSS, Go, C++, HTML, Vue, Ruby, Jupyter Notebook, R, Shell. Всего набор обучающих данных содержит 175 миллиардов токенов, которые повторялись в течение 3 эпох — всего replit-code-v1-3b был обучен на 525B токенах (~ 195 токенов на параметр). Модель была обучена на платформе MosaicML с 256 графическими процессорами A100-40 ГБ с использованием последнего репозитория примеров LLM. Replit-code-v1-3b основан на самых современных методах LLM, таких как: Flash Attention для быстрого обучения и вывода, позиционные встраивания AliBi для поддержки переменной длины контекста во время вывода, оптимизатор LionW и т. д. Replit предполагает, что эта модель будет использоваться кем угодно в качестве базовой модели для точной настройки конкретного приложения без строгих ограничений на коммерческое использование. Набор данных перед обучением мог содержать оскорбительный или неприемлемый контент даже после применения данных…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: replit
Теги: mpt, code, custom_code, model-index, text-generation-inference, endpoints_compatible
Лайков: 741 | Загрузок: 400
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
