YoLo2000/TiLamb-7B - Каталог нейросетей
Генерация текста

YoLo2000/TiLamb-7B

Добавлено:
YoLo2000/TiLamb-7B

TiLamb-7B 是藏文大语言模型的基座模型,它使用了 26.43GB 的藏文语料,基于Meta发布的可商用大模型 LLaMA2-7B 模型,通过 LoRA 方法进行了增量预训练。该模型在 LLaMA2 的基础上扩展了词表,从原有的词表大小 32,000 扩充藏文词汇至 61,221 ,并对 LLaMA2-7B 原始模型的 embedding 和 lm_head 进行了均值扩充初始化。更多信息请访问 TiLamb-7B GitHub 主页。 重要说明: — TiLamb-7B 是一个未经监督微调的基座模型,不具备对话能力。 — 要进行藏文对话和藏文 NLP 下游任务的适配(已验证的任务包括藏文新闻分类、藏文实体关系分类、藏文机器阅读理解、藏文分词、藏文摘要、藏文问题回答和藏文问题生成),建议使用 LLaMA-Factory 框架进行微调。 使用须知: — 本项目基于 Meta 发布的 LLaMA2-7B 模型开发,使用时请严格遵守 LLaMA2-7B 的开源许可协议。 — 如果涉及使用第三方代码,请务必遵从相关的开源许可协议。 — 模型生成的内 Он основан на коммерчески доступной большой модели Meta, LLaMA2-7B, и был поэтапно предварительно обучен с использованием метода LoRA. Эта модель расширяет LLaMA2, увеличивая словарный запас с первоначальных 32 000 до 61 221 тибетских слов и инициализирует вложение и lm_head оригинальной модели LLaMA2-7B посредством среднего расширения. Для получения дополнительной информации посетите страницу TiLamb-7B на GitHub. Важные примечания: — TiLamb-7B — это неконтролируемая доработанная базовая модель, которой не хватает…

Модальности:
Генерация текста


Задача: Генерация текста
Автор: YoLo2000
Теги: llama, bo, text-generation-inference, endpoints_compatible
Лайков: 3  |  Загрузок: 63

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.