1. 使用了大概几万条的数据，对falcon-7b模型做了sft，这里分享出我的模型权重 2. falcon-7b是支持中文语言的。 1. 效果其实一般，没有bloom-7b效果好。有人甚至反映，连bloom-1b都干不过。 2. Здесь я делюсь весами своей модели bloom-7b-v2 https://huggingface.co/yuanzhoulvpi/chinesebloom7bchatv2 1. Модель falcon-7b по своей структуре похожа на bloom, но в нее добавлены RotaryEmbedding и memoryefficientattention. 2. 因此如果想要对falcon-7b做sft的话，可以看我之前训练bloom的代码https://github.com/yuanzhoulvpi2017/zeronlp/tree/main/chinesebloom
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: yuanzhoulvpi
Теги: RefinedWebModel, custom_code, zh, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 68
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
