Qwen/Qwen-7B-Chat-Int8

🤗 Обнимающее лицо&nbsp&nbsp | &nbsp&nbsp🤖 ModelScope&nbsp&nbsp | &nbsp&nbsp 📑 Бумага &nbsp&nbsp ｜ &nbsp&nbsp🖥️ Демо WeChat (微信)&nbsp&nbsp | &nbsp&nbspDiscord&nbsp&nbsp ｜ &nbsp&nbspAPI通义千问-7B(Qwen-7B)是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型,在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时，在Qwen-7B的基础上，我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。相较于最初开源的Qwen-7B模型,我们现已将预训练模型和C Hat 模型更新到效果更优的版本。本仓库为Qwen-7B-Chat的Int8量化模型的仓库。 Qwen-7B — это 7B-параметрическая версия серии больших языковых моделей Qwen (сокр. Tongyi Qianwen), предложенной Alibaba Cloud. Qwen-7B — это модель большого языка на основе Transformer, которая предварительно обучается на большом объеме данных, включая веб-тексты, книги, коды и т. д. Кроме того, на основе предварительно обученного Qwen-7B мы выпускаем Qwen-7B-Chat, ИИ-помощник на основе большой модели, который обучается методам выравнивания. Теперь мы обновили предварительно обученные модели и модели чата для повышения производительности. Этот репозиторий предназначен для квантовой модели Qwen-7B-Chat Int8. Более подробную информацию о модели Qwen-7B с открытым исходным кодом можно найти в репозитории кода GitHub. Python 3.8 — версия pytorch 2.0 — версия CUDA 11.4 及以上（GPU用户、flash-attention用户等需考虑此选项） python…

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: Qwen
Теги: qwen, custom_code, zh, en, 8-bit, gptq
Лайков: 9  |  Загрузок: 141

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.