Llama 3.1 Future Code Ja — это большая языковая модель с 8B параметрами, построенная на основе модели Meta Llama 3.1. Впервые модель была подвергнута непрерывному предварительному обучению на сочетании кода и данных, преимущественно японского естественного языка. Данные для обучения в основном взяты из набора данных Stack V2 и подмножества LLM-jp Corpus v3, которое включает 204,9 млрд кодов и 85,7 млрд токенов естественного языка после тщательно продуманной очистки данных. Затем модель была объединена с инструктирующим вариантом модели Meta Llama 3.1 для приобретения способности следовать общим инструкциям по задачам с последующей контролируемой точной настройкой (SFT) и прямой оптимизацией предпочтений (DPO) на основе наших собственных данных инструкций кода, сгенерированных сорокой. Модель официально поддерживает японский и английский языки для естественных языков, а также более 40 языков программирования, от популярных Python, Java и т. д. до некоторых устаревших языков, таких как COBOL. В дополнение к причинно-следственному выводу (слева направо) модель поддерживает функцию «Заполнить посередине» (FIM), при которой модель заполняет пробелы, обращаясь к двунаправленному контексту, что является распространенным вариантом использования в IDE. Модель превосходит оригинальную модель Llama 3.1 по автодополнению кода как на японском, так и на английском языке…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: future-architect
Теги: llama, llama-3, code, conversational, en, ja
Лайков: 8 | Загрузок: 67
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
