雖然 Генеративный ИИ發展蓬勃，但是小型中文模型(尤其是繁體中文)仍然很缺乏，一些用中文語料訓練的模型也沒有在詞表上對中文進行優化。繁體中文資料集仍然較難取得，作為替代我們使用了簡體資料集搭配簡轉繁的方案進行訓練。一些初步的觀測,模型的輸出有偏好中國內容的傾向。中文場景下常有混用英文的情形,所以我們也在訓練語料中加入英文(占比40%),總計在此模型上訓練了15B токенов。 — 中文維基百科(20230601) — 英文維基百科(20230601) — 悟道資料集(簡->繁轉換) — C4-RealNewsLike Используйте токенизатор BPE。 > https://github.com/p208p2002/BPE-tokenizer-from-zh-wiki尚-雅克·盧梭（法語:Жан-Жак Руссо，法語發音:[ʒɑ̃ ʒak ʁuso]；1712年6月28日—1778年7月2日）是啟蒙時代的法國與日內瓦哲學家、政治理論家、文學家和音樂家。盧梭的小說作品《愛彌兒》 (Эмиль)是一篇關於全人公民教育的哲學論文,對康德影響甚大。其言情小說《新愛洛伊斯》對前浪漫主義（преромантизм）[19]及浪漫主義時期的小說發展十分重要[20]。不過, 一些知名學者認為盧梭雖然預示了浪漫主義的誕生,但是其「現代文學姿態」其實早已「超越了感傷的浪漫主義」, 而其嶄新的語言觀甚至「一直延續到了超現實主義那裡」[21]。 Вэньчжун模型雖然使用中文語料訓練，可是並沒有針對中文語料建立模型詞表,雖然依靠BPE演算法可使其 байты отсрочки (避免oov)，但因編碼長度變長導致效率較差，並且在令牌化後缺失語義。
Модальности:
Генерация текста
Задача: Генерация текста
Автор: p208p2002
Теги: llama, chinese, english, generate, gpt2, zh, en, text-generation-inference
Лайков: 6 | Загрузок: 227
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
