Wordcel — это тонкая настройка Llama3, предназначенная для использования в качестве контрольной точки в середине обучения для более конкретных приложений для ролевой игры, написания историй и творчества. Он был обучен на базе Llama3 8B на составном наборе данных из ~ 100 миллионов токенов, который выделяет рассуждения, истории (без цензуры), классическую литературу и различные задачи межличностного интеллекта. Компоненты составного набора данных включают OpenHermes-2.5 и наборы данных «Теория разума» и «Физическое мышление» Гримулкана. Он обучается при длине контекста 32 тыс. токенов с использованием линейного масштабирования RoPE с коэффициентом 4,0. В результате производные модели должны быть способны обобщать до 32 тысяч токенов. Если вы тренируете модель, используя эту контрольную точку, пожалуйста, четко укажите авторство! Вероятно, применима базовая лицензия Llama 3.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jspr
Теги: llama, text-generation-inference, unsloth, trl, sft, en, endpoints_compatible
Лайков: 7 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
