Это версия Hermes Lite, которая исключает данные обучения Nous Instruct, на которых также обучалась модель Hermes, и является экспериментальной. Большое спасибо фонду BitTensor за предоставленные ресурсы для проведения этого эксперимента! Кажется, возникла какая-то проблема с обучением, которую я не могу определить, и, хотя она и кажется улучшенной по сравнению с базовой моделью, похоже, она не научилась даже близко тому, чему научилась Лама при обучении Гермеса. Обычно модель отвечает длинными ответами, когда ее спрашивают, она гораздо более контекстуально интеллектуальна и отвечает вдумчиво. Однако по какой-то причине (вероятно, это связано с отсутствием обучения с помощью LLM-Foundry) модель не любит более длинные ответы, а типичные ответы довольно краткие. Я не верю, что это проблема базовой модели, или, по крайней мере, я считаю, что это проблема базовой модели, связанная с ней и тренером, поскольку я сравнил эту тонкую настройку с моделью Instruct MPT-7B, и у нее вообще не было проблем с очень длинными ответами и т. д. Если у кого-то есть время для расследования, свяжитесь со мной на вкладке сообщества или в Твиттере, @Teknium1! Я тренировал Replit 3b с тем же трейнером, с теми же настройками, и результаты были…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: teknium
Теги: mpt, custom_code, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
