shigureui/lightnovel_cpt

这个模型是CPT版本。使用了32K为目标切分的小说，所以可以输入非常长的内容, int8量化的话我不好说（24G卡BF16 Окна контента 32K, 杂鱼！） 1. 7G, 7G, CPT, SFT, SFT, 2. Ролевая игра — 数据非常容易导过拟合，增加猫箱的R P数据会导致小说的续写长度变短,并且没有发现аниме девушка效果变好。（几家app用户大多是同人女的关系？） 3. h-corpus质量参差不齐,只采样了一些,用了与轻小说数据量相同的7 G左右的文本。(这个数据集与轻小说没有完全太重合,考虑pixiv子集) 4. SFT может содержать краткие сведения, краткие сведения о RP, а также RP. 5. Краткое содержание h-корпуса. https://github.com/ixinzhi/lightnovel-2023 清洗脚本晚些可能公开如果模型载入有问题的话, 请用qwen2.5 — токенизатор 、vocab等等覆盖一下,我只有权重的megatron转换出来的。

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: shigureui
Теги: qwen2, conversational, zh, text-generation-inference, endpoints_compatible
Лайков: 9  |  Загрузок: 18

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.