— Это квантованная версия shenzhi-wang/Llama3-8B-Chinese-Chat, созданная с использованием llama.cpp. Это первая модель китайского чата, специально настроенная для китайского языка через ORPO [1] на основе модели Meta-Llama-3-8B-Instruct. По сравнению с исходной моделью Meta-Llama-3-8B-Instruct, наша модель Llama3-8B-Chinese-Chat значительно уменьшает проблемы «китайских вопросов с английскими ответами» и смешения китайского и английского языков в ответах. Кроме того, по сравнению с исходной моделью, наша модель значительно уменьшает количество смайлов в ответах, делая ответы более формальными. [1] Хон, Джиу, Ной Ли и Джеймс Торн. «Безреферентная монолитная оптимизация предпочтений с коэффициентом шансов». Препринт arXiv arXiv:2403.07691 (2024 г.). Набор данных: ДПО-Эн-Ж-20к (идентификатор фиксации: e8c5070d6564025fcf206f38d796ae264e028004). Платформа обучения: LLaMA-Factory (идентификатор фиксации: 836ca0558698206bbf4e3b92533ad9f67c9f9864). Детали обучения: — эпохи: 3 — скорость обучения: 5e-6 — тип планировщика скорости обучения: косинус — коэффициент прогрева: 0,1 — длина отсечки (т. е. длина контекста): 8192 — бета-версия orpo (т. е. $lambda$ в документе ORPO): 0,05 — глобальный размер пакета: 64 — тип тонкой настройки: полные параметры — оптимизатор:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: QuantFactory
Теги: gguf, llama-factory, orpo, en, zh, conversational
Лайков: 11 | Загрузок: 285
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
