llama-traditional-chinese-120M
雖然 Генеративный ИИ發展蓬勃,但是小型中文模型(尤其是繁體中文)仍然很缺乏,一些用中文語料訓練的模型也沒有在詞表上對中文進行優化。繁體中文資料集仍然較難取得,作為替代我們使用了簡體資料集搭配簡轉繁的方案進行訓練。一些初步的觀測,模型的輸出有偏好中國內容的傾向。中文場景下常有混用英文的情形,所以我們也在訓練語料中加入英文(占比40%),總計在此模型上訓練了15B токенов。 — 中文維基百科(20230601) — 英文維基百科(20230601) — 悟道資料集(簡->繁轉換) — C4-RealNewsLike Используйте токенизатор BPE。 > https://github.com/p208p2002/BPE-tokenizer-from-zh-wiki尚-雅克·盧梭(法語:Жан-Жак Руссо,法語發音:[ʒɑ̃...