llama-3-8b-instruct-262k-chinese基于Llama-3-8B-Instruct-262k，使用ORPO方法，在中英文偏好数据集shibing624/DPO-En-Zh-20k-Preference上微调得到的对话模型。 模型的部署、训练等方法详见MedicalGPT的GitHub仓库: https://github.com/shibing624/MedicalGPT —完整模型权重: https://huggingface.co/shibing624/llama-3-8b-instruct-262k-chinese — lora权重: https://huggingface.co/shibing624/llama-3-8b-instruct-262k-chinese-lora 模型优势: 1. Длина контекста 262 тыс. токенов, RAG 2. Длина контекста 3. 4. Квантование | Пиковое использование для кодирования токенов 2048 | Пиковое использование для генерации 8192 токенов — | — | — ФП16/БФ16 | 18,66 ГБ | 24,58 ГБ Int4 | 9,21 ГБ | Размер: 14,62 ГБ: 1. Размер модели: 8B, размер корпуса 2. Gradient объединяет ваши данные для развертывания автономных помощников, которые обеспечивают выполнение критически важных операций в вашем бизнесе. Чтобы узнать больше или совместно работать над собственной моделью. Эта модель расширяет длину контекста LLama-3 8B с 8 КБ до -> 160 КБ, разработанная компанией Gradient при финансовой поддержке вычислительной компании Crusoe Energy. Это демонстрирует, что специалисты SOTA LLM могут научиться работать в длинном контексте с минимальным обучением (<200 миллионов токенов) путем соответствующей настройки теты RoPE. — мета-лама/Мета-лама-3-8B-Instruct в качестве основы — интерполяция с поддержкой NTK…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: shibing624
Теги: llama, llama3, chinese, meta, conversational, zh, en, text-generation-inference
Лайков: 11 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
