FIM-1.3B — первая из серии крупномасштабных авторегрессионных языковых моделей с возможностью заполнения, обученных CarperAI. FIM-1.3B — первая из этих моделей, и будущие модели (как большие, так и меньшие), обученные на большем количестве кодовых данных, будут выпущены, возможно, с различными архитектурными вариациями, оптимизированными для кода. Это предварительный выпуск экспериментального артефакта, и к нему следует относиться соответственно. Мы публикуем эти результаты и эту модель в надежде, что они могут быть полезны широкому исследовательскому сообществу, особенно тем, кто интересуется LM для инструментов кодирования и парного программирования. Основываясь на этих экспериментах, CarperAI в ближайшем будущем выпустит более крупные LM, лучше настроенные для кода. Модель состоит из 24 слоев преобразователей со скрытой размерностью 2048 и промежуточной размерностью прямой связи 8192. Скрытое измерение разделено на 16 головок для самообслуживания, каждая из которых имеет размерность 128. Используется вращающееся позиционное встраивание (RoPE). Модель обучается с помощью того же токенизатора, что и GPT-NeoX-20b, для размера словаря в 50 254 токена. Модель была обучена на Pile, наборе данных объемом 800 ГБ, состоящем из различных веб-корпусов. Техническое описание и бумага для…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: CarperAI
Теги: gpt_neox, causal-lm, code-generation, The Pile, en, code, text-generation-inference, endpoints_compatible
Лайков: 26 | Загрузок: 37
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
