Версия модели ExllamaV2, созданная в результате работы NousResearch Original Card https://huggingface.co/NousResearch/Nous-Hermes-Llama2-70b. Требуется ExllamaV2, который разрабатывается Turboderp https://github.com/turboderp/exllamav2 под лицензией MIT. Расчет предоставлен PygmalionAI, спасибо! Следите за PygmalionAI в Твиттере @pygmalion_ai. Nous-Hermes-Llama2-70b — это современная языковая модель, настроенная на более чем 300 000 инструкций. Эта модель была доработана Nous Research, при этом Teknium и Emozilla возглавили процесс точной настройки и курирование наборов данных, Pygmalion спонсировал вычисления и несколько других участников. Эта модель Гермеса использует тот же набор данных, что и Гермес на Ламе-1. Это сделано для обеспечения согласованности между старым и новым Гермесом для всех, кто хотел сохранить Гермес похожим на старый, но более функциональным. Эта модель отличается длинными ответами, более низким уровнем галлюцинаций и отсутствием механизмов цензуры OpenAI в синтетических обучающих данных. Процесс тонкой настройки был выполнен с длиной последовательности 4096 на машине с 8x H100 80 ГБ. Модель была почти полностью обучена на синтетических выходных данных GPT-4. Курирование высококачественных наборов данных GPT-4…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: AzureBlack
Теги: llama, llama-2, self-instruct, distillation, synthetic instruction, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
