llama-3-8b-instruct-262k-китайская基于Llama-3-8B-Instruct-262k,使用ORPO方法,在中英文偏好数据集shibing624/DPO-En-Zh-20k-Preference 上微调得到的对话模型。 模型的部署、训练等方法详见MedicalGPT的GitHub仓库:https://github.com/shibing624/MedicalGPT — 完整模型权重：https://huggingface.co/shibing624/llama-3-8b-instruct-262k-chinese — lora权重： 模型优势https://huggingface.co/shibing624/llama-3-8b-instruct-262k-chinese-lora ： 1. длина 支持超长контекста 262k токен,适合RAG 2. 支持中英文 3. 支持多轮对话代码编码、推理能力强，英文知识充分 4. 模型推理需要显存： Quantization | Peak Usage for Encoding 2048 Tokens | Peak Usage for Generating 8192 Tokens — | — | — FP16/BF16 | 18.66GB | 24.58GB Int4 | 9.21GB | 14.62GB 缺点： 1. model size只有8B,知识类问答幻觉明显 2. ， 中文知识欠缺， ，容易幻觉特别是中文古文知识，属于llama类模型通病 Gradient включает ваши данные для развертывания автономных помощников, которые обеспечивают критически важные операции в вашем бизнесе. Узнать больше или поработать над настраиваемой моделью. Эта модель расширяет длину контекста LLama-3 8B с 8K до -> 160K, разработанная Gradient при поддержке Compute от Crusoe Energy. Это демонстрирует, что магистры SOTA могут научиться работать в длинном контексте с минимальной подготовкой (< 200 МЛН токенов), соответствующим образом отрегулировав RoPE тета. — meta-llama/Meta-Llama-3-8B-Instruct в качестве основы — NTK-ориентированная интерполяция…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: shibing624
Теги: llama3, chinese, meta, conversational, zh, en
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
