Romulus — это серия постоянно предварительно обучаемых моделей, обогащенных французским законодательством и призванных служить основой для процесса точной настройки размеченных данных. Обратите внимание, что эти модели не приспособлены для создания полезного текста в их нынешнем виде, и их, безусловно, необходимо будет доработать для желаемых задач, чтобы получить удовлетворительные результаты. Обучающий корпус состоит примерно из 34 864 949 токенов (рассчитано с помощью токенизатора Meta-Lama/Meta-Llama-3.1-8B). В следующей таблице представлены ключевые гиперпараметры, используемые для обучения Ромула. Romulus был обучен с помощью Unsloth на экземпляре Nvidia H100 Azure EST в США, предоставленном программой Microsoft for Startups, на основе этого сценария: Если вы используете этот код в своем исследовании, используйте следующую запись BibTeX. Если у вас есть какие-либо отзывы, напишите по адресу louisbrulenaudet@icloud.com.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: louisbrulenaudet
Теги: llama, law, droit, unsloth, trl, sft, fr, text-generation-inference
Лайков: 12 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
