csdc-atl/Baichuan2-13B-Chat-GPTQ-Int4 - Каталог нейросетей
Генерация текста

csdc-atl/Baichuan2-13B-Chat-GPTQ-Int4

Добавлено:

该GPTQ文件都是用AutoGPTQ生成的。 — Биты: 4/8 — GS: 32/128 — Порядок активации: True — Демпфирование %: 0,1 — Набор данных GPTQ: смешанный набор данных на китайском и английском языках — Длина последовательности: 4096 :|:———————:|:———————:|:—————————:| В моделях серии Baichuan2 мы использовали новую функцию F.scaleddotproduct_attention, добавленную в PyTorch 2.0, для ускорения скорости вывода, поэтому модель должна работать в среде PyTorch 2.0. В моделях серии Baichuan 2 мы использовали новую функцию F.scaleddotproductattention`, представленную в PyTorch 2.0, для ускорения скорости вывода. Поэтому модель необходимо запускать в среде PyTorch 2.0. Мы провели обширное тестирование модели на авторитетных китайско-английских наборах данных в шести областях: [Общая], [Юридическая], [Медицинская], [Математическая], [Код] и [Многоязычный перевод]. Более подробные результаты оценки можно посмотреть на [GitHub]. Мы провели обширное тестирование модели на авторитетных китайско-английских наборах данных в шести областях: «Общая», «Юридическая», «Медицинская», «Математическая», «Кодирование» и «Многоязычный перевод». Более подробные результаты оценки см. на GitHub. 除了训练了 2,6 万亿 Tokens 的 Baichuan2-7B-Base 模型,我们还提供了在此之前的另外 11 个中间过程的模型(分别对应训练了约 0,2 ~ 2,4 万亿 Tokens)供社区研究使用 (训练过程checkpoint下载)。下图给出了 эти контрольные точки 在 C-Eval、MMLU、CMMLU 三个 benchmark 上的效果变化: Помимо модели Baichuan2-7B-Base, обученной на 2,6 триллионах токенов, мы также предлагаем 11 дополнительных моделей промежуточных этапов для исследований сообщества, соответствующих…

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: csdc-atl
Теги: baichuan, custom_code, en, zh, text-generation-inference, endpoints_compatible, 4-bit, gptq
Лайков: 2  |  Загрузок: 10

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.