Replit Code v1.5 — это причинно-следственная языковая модель с 3,3 млрд параметров, ориентированная на завершение кода. Модель обучается в bfloat16 на 1Т токенов кода (~200 млрд токенов в течение 5 эпох, включая линейное время восстановления) для 30 языков программирования из подмножества разрешенно лицензированного кода из набора данных Bigcode Stack Dedup, отфильтрованного образца естественного языка из подмножеств Markdown и reStructuredText из того же набора данных Stack Dedup и ориентированного на разработчиков образца из StackExchange RedPajama. набор данных получен из дампа данных Stack Exchange от Stack Exchange Inc. Размер контекста модели — 4096 токенов. Мы используем токенизатор GPTNeoX с специально обученным и оптимизированным словарем из 32768 токенов. Этот специальный словарь привел к однозначным процентам сжатия при сохранении или улучшении охвата нашего учебного корпуса. Модель была обучена на платформе MosaicML на 128 графических процессорах H100-80 ГБ с использованием учебной библиотеки LLM Foundry и Composer, созданной на основе PyTorch. Вам потребуется установить последние версии следующих зависимостей: Вы можете сгенерировать код с помощью библиотеки преобразователей следующим образом: Поэкспериментируйте с различными методами и параметрами декодирования, чтобы получить наилучшие результаты…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: replit
Теги: mpt, code, Composer, MosaicML, llm-foundry, StreamingDatasets, custom_code, text-generation-inference
Лайков: 312 | Загрузок: 271
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
