Это тонкая настройка HuggingFaceTB/SmolLM2-135M-Instruct с использованием GRPO на mlabonne/smoltldr (2 тыс. образцов). Он предназначен для обобщения сообщений Reddit с использованием ~ 50 символов. Вы можете воспроизвести это обучение, используя этот блокнот Colab. Обучение модели занимает около 40 минут. Выводы из этих экспериментов: Добавление системной подсказки типа «Кратко резюмируйте следующий текст» не помогает. Вы можете добиться более быстрой сходимости с более высокой скоростью обучения и меньшим количеством образцов, но это может привести к превышению цели. * Я попробовал множество функций вознаграждения, чтобы поиграть с формированием вознаграждения, но это, похоже, не помогло. Ввод: > СУБРЕДДИТ: r/Advice > > НАЗВАНИЕ: У меня большие мечты и цели, но они немного туманны.[m20] > > ПОСТ: Сейчас я живу дома со своей семьей и не хожу в школу. Я проучился год в колледже и решил остановиться. Мой лучший друг убедил меня, что мне не нужен колледж, чтобы заниматься тем, чем я хочу. Кроме того, я ненавидел посещать занятия, которые мне не были интересны. То, чем я хочу заниматься в жизни (знаю, это кажется слишком большим), включало создание музыки, создание мультфильмов, создание комиксов, дизайн одежды и обуви и другие мелкие вещи, связанные с этим. Я вырос в хорошей семье с…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mlabonne
Теги: llama, trl, grpo, conversational, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
