Это экспериментальная ЛАЗЕРНАЯ версия NeuralHermes с использованием laserRMT, основанная на этой статье. Фернандо Фернандес Нето и Эрик Хартфорд. «Оптимизация больших языковых моделей с использованием послойно-селективного понижения ранга и теории случайных матриц». 2024. NeuralHermes — это модель teknium/OpenHermes-2.5-Mistral-7B, которая была дополнительно доработана с помощью оптимизации прямых предпочтений (DPO) с использованием набора данных mlabonne/chatmldpopairs. Он превосходит исходную модель по нескольким критериям (см. результаты). Он напрямую вдохновлен процессом RLHF, описанным авторами Intel/neural-chat-7b-v3-1 для повышения производительности. Я использовал тот же набор данных и переформатировал его, чтобы применить шаблон ChatML. Код для обучения этой модели доступен в Google Colab и GitHub. Для этого потребовался графический процессор A100 примерно на час. Вы можете запустить эту модель с помощью LM Studio или любого другого интерфейса.
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: mlabonne
Теги: mistral, instruct, finetune, chatml, gpt4, synthetic data, distillation, dpo
Лайков: 16 | Загрузок: 30
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
