Обучается на Baichuan2-7B-Chat с выборкой данных belle sft, сопровождаемых чередованием отрывков из жвики. Токены отражения соответствуют исходной версии (на английском языке), поэтому их использование такое же. Надеюсь, вам понравится. Также доступны данные, используемые для обучения модели (FINALOUTPUT4w.jsonl), которые созданы с использованием данных Belle SFT и китайской документации Википедии. Критическая модель размещается в папке Critic/. Однако из-за количества и качества данных критиков до идеального исполнения все еще далеко. Я обнаружил некоторые ошибки вывода при использовании vllm для ускорения процесса генерации и не уверен, связано ли это с какими-то проблемами с точностью. Это может быть связано с реализацией vllm. Таким образом, я использую оригинальный метод генерации трансформаторов.
Модальности:
Генерация текста
Области применения:
RAG (поиск + генерация) Диалог / чат
Задача: Генерация текста
Автор: Aman
Теги: baichuan, text generation, RAG, baichuan2, custom_code, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
