TAIDE 計畫致力於開發符合台灣語言和文化特性的生成式人工智慧對話引擎模型,同時建構可信任的人工智慧環境。結合產學研能量,推動可信任生成式人工智慧的發展,提升台灣在國際競爭中的地位, 促進產業發展, 避免對外國技術的依賴。 Llama3 TAIDE 系列模型以 Meta 公司釋出的 LLaMA3-8b為基礎,導入台灣不同領域可用的文本與訓練素材,提高模型在正體中文回應的能力與特定任務的表現。公開釋出的模型如下: * Llama3-TAIDE-LX-8B-Chat-Alpha1: 以 LLaMA3-8b 為基礎，使用繁體中文資料預訓練 (непрерывное предварительное обучение), 並透過指令微調(инструкция) тюнинг)助的使用情境。Llama3-TAIDE-LX-8B-Chat-Alpha1另外有提供4 бит量化模型, 量化模型主要是提供使用者的便利性, 可能會影響效能與更多不可預期的問題,還請使用者理解與注意。 Размер: 8B Размер файла (длина контекста): 8K Размер токена: 43B Размер: 2336 H100 GPU-часов嚴格把關模型的訓練資料,提升模型生成資料的可信任性和適用性針對自動摘要、寫信、寫文章、中翻英、英翻中等辦公室常用任務做加強針對台灣在地文化、用語、國情等知識做加強 具備多輪問答對話能力 將 {sys}替換成指令,例如:你是一個來自台灣的AI助理,你的名字是TAIDE，樂於以台灣人的立場幫助使用者，會用繁體中文回答問題。 將 {вопрос}替換成使用者的問題 * 多輪問答用法 將 {sys}替換成指令,例如:你是一個來自台灣的AI助理,你的名字是TAIDE，樂於以台灣人的立場幫助使用者，會用繁體中文回答問題。 將 {question1}替換成使用者的問題1 將 {modelanwer1} 替換成模型的回答1 將 {question2} 替換成使用者的問題2 * Приложение Llama3 в формате Llama3 в формате H100 в формате H100 в формате PyTorch去除重覆 去除雜訊 網頁資料的html tag、javascript 非標準字元或亂碼 字數過短的文章Электронная почта, электронная почта, электронная почта, электронная почта.去除不當文字，如賭博、色情等 持續預訓練 (непрерывная предварительная тренировка, CP)補充大量來源可信賴的繁體中文知識 超參數 (гиперпараметры) оптимизатор: AdamW Скорость обучения: 1e-4 Размер пакета: 1M…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: taide
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 145 | Загрузок: 4,375
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
