Это более новая контрольная точка MiniThinky-1B-Llama-3.2 (версия 1), у которой потери уменьшены с 0,7 до 0,5. Шаблон чата такой же, как и в llama 3, но ответ будет следующим: Модель очень чувствительна к системным сообщениям. Убедитесь, что вы используете это системное сообщение (системную роль) в начале разговора: Вы MiniThinky, полезный помощник ИИ. Ты всегда думаешь, прежде чем дать ответ. Используйте прежде, чем подумать и прежде чем дать ответ. Оборудование, используемое для его обучения? Я использовал ВЧ-пространство с 4xL40S, тренировался 5 часов (v1) и еще 6 часов (v2). Контрольный показатель? У меня нет времени делать это в одиночку. Если можете помочь, откройте обсуждение! Другие вещи, которые я могу настроить? Может быть, понизить температуру или установить top_k=1 TODO: включить сюда дополнительную информацию + может быть, провести несколько тестов? (Пожалуйста, добавьте обсуждение, если вам интересно)
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ngxson
Теги: onnx, llama, trl, sft, conversational, text-generation-inference, endpoints_compatible
Лайков: 43 | Загрузок: 51
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
