Minami-su/Qwen1.5-7B-Chat_mistral

Это Mistral версия модели Qwen1.5-7B-Chat от Alibaba Cloud. Исходную базу кода можно найти по адресу: (https://github.com/hiyouga/LLaMA-Factory/blob/main/tests/llamafyqwen.py). Я внес изменения, чтобы сделать его совместимым с qwen1.5. Эта модель конвертируется с помощью https://github.com/Minami-su/characterAIopen/blob/main/mistralqwen2.py. 1. Прежде чем использовать эту модель, вам необходимо изменить modeling_mistral.py в библиотеке трансформаторов 2.vim /root/anaconda3/envs/train/lib/python3.9/site-packages/transformers/models/mistral/modeling_mistral.py. 4.modify q,k,v,o смещение=False ——>, смещение=config.attention_bias По сравнению с qwen2 llamafy, qwen2 mistral может использовать скользящее окно внимания, qwen2 mistral работает быстрее, чем qwen2 llamafy, и длина контекста лучше

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: Minami-su
Теги: mistral, qwen, qwen1.5, qwen2, conversational, en, zh, text-generation-inference
Лайков: 7  |  Загрузок: 444

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.