NeuralHermes основан на модели teknium/OpenHermes-2.5-Mistral-7B, которая была дополнительно доработана с помощью оптимизации прямых предпочтений (DPO) с использованием набора данных mlabonne/chatmldpopairs. Он превосходит оригинальную модель по большинству тестов (см. результаты). Он напрямую вдохновлен процессом RLHF, описанным авторами Intel/neural-chat-7b-v3-1 для повышения производительности. Я использовал тот же набор данных и переформатировал его, чтобы применить шаблон ChatML. Код для обучения этой модели доступен в Google Colab и GitHub. Для этого потребовался графический процессор A100 примерно на час. GGUF: https://huggingface.co/TheBloke/NeuralHermes-2.5-Mistral-7B-GGUF AWQ: https://huggingface.co/TheBloke/NeuralHermes-2.5-Mistral-7B-AWQ GPTQ: https://huggingface.co/TheBloke/NeuralHermes-2.5-Mistral-7B-GPTQ EXL2: 3.0bpw: https://huggingface.co/LoneStriker/NeuralHermes-2.5-Mistral-7B-3.0bpw-h6-exl2 4.0bpw: https://huggingface.co/LoneStriker/NeuralHermes-2.5-Mistral-7B-4.0bpw-h6-exl2 5.0bpw: https://huggingface.co/LoneStriker/NeuralHermes-2.5-Mistral-7B-5.0bpw-h6-exl2 6.0bpw: https://huggingface.co/LoneStriker/NeuralHermes-2.5-Mistral-7B-6.0bpw-h6-exl2 * 8.0bpw:…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: mlabonne
Теги: mistral, instruct, finetune, chatml, gpt4, synthetic data, distillation, dpo
Лайков: 153 | Загрузок: 94
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
