Наконец, модель, которую мы начали обучать с помощью нашего поста в блоге, готова. Модель может содержать некоторые проблемы, особенно с форматом FIM. Основное применение этой модели — завершение кода (заполнение) на нескольких языках программирования. Но как чат он работает вполне хорошо. При заполнении середины используются специальные токены для идентификации префиксной/серединной/суффиксной части входных и выходных данных: — Внимание на основе ALiBi — LayerNorm вместо RMSNorm — Внимание к множественным запросам Мы также использовали LiON, мгновенное внимание, раннее отключение. Это не такая уж инновация, что вы не можете ее запустить, на самом деле вы можете — см. пример ниже. Для базовой модели мы использовали собственный набор данных, содержащий только код с разрешительными лицензиями, а также наборы данных с открытым текстом. Фильтрация является ключом к успеху этой модели: — Мы использовали текст только на английском языке — Только темы, связанные с информатикой — Применена интенсивная дедупликация Соотношение текста к коду составляло 50:50, модель обучена для токенов 1,2T. Мы не выпускаем базовую модель, поскольку ее функция «Заполнение посередине» (FIM) любит слишком часто повторяться, поэтому ее практическое использование ограничено. Но если вы все еще хотите этого, напишите нам сообщение в Discord. Модель Refact-1.6B обучалась на тексте на английском языке. Но…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: refactai
Теги: gpt_refact, code, custom_code, en
Лайков: 5 | Загрузок: 100
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
