Дополнительную информацию о предыдущей версии Neuronovo/neuronovo-9B-v0.2 можно найти здесь: 🔗Не прекращайте оптимизацию DP! Автор: Ян Коцонь 🔗LinkedIn 🔗Google Scholar 🔗ResearchGate 1. Набор обучающих данных: в дополнение к набору данных Intel/orcadpopairs эта версия включает mlabonne/chatmldpopairs. Объединенные наборы данных расширяют возможности модели в диалогах и интерактивных сценариях, дополнительно специализируя ее на понимании естественного языка и генерации ответов. 2. Токенизатор и форматирование. Токенизатор теперь основан непосредственно на модели Neuronovo/neuronovo-9B-v0.2. 3. Конфигурация обучения. Подход к обучению изменился с использования maxsteps=200 на numtrainepochs=1`. Это представляет собой изменение в стратегии обучения, ориентированное на обучение на основе эпох, а не на фиксированное количество шагов. 4. Скорость обучения: Скорость обучения уменьшена до меньшего значения — 5e-8. Такая более высокая скорость обучения позволяет осуществлять более точную настройку в процессе обучения, что потенциально может привести к повышению производительности модели.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Neuronovo
Теги: mistral, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 84
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
