GenX는 자체 수집한 제조 도메인 데이터를 이용해 학습되었으며, 뛰어난 제조 지식을 바탕으로 사용자의 물음에 더 길고 자세한 답변을 제공합니다. — Qwen2.5-GenX-14B는 Qwen2.5 backbone을 450 MB (130M tokens)의 제조 도메인, 특히 사출 성형 및 금형 도메인 말뭉치에 연속 사전학습시켜 제조 도메인에 특화시킨 뒤 Instruction tuning을 수행하였습니다. — 사전학습 데이터셋은 자체적으로 수집한 제조 도메인 논문과 웹 블로그 데이터, 일반 한국어 데이터 (AI-Hub) 및 합성 데이터를 이용하여 구축했습니다. — Supervised Fine-tuning (SFT) 데이터셋은 수집한 도메인 데이터를 컨텍스트로 사용하여 약 185만 건(약 380 MB)의 instruction following data를 합성하여 사용했습니다. — GenX는 Molding 도메인에 속하는 592개의 전문 용어(한국어 및 영어)를 vocabulary에 추가하여 학습하였습니다. — 추가된 vocabulary를 효과적으로 학습하고자 모델의 일부 레이어만 먼저 학습한 뒤 전체 파라미터를 학습하는 단계적 학습(Multi-stage training)을 도입하였습니다. 아래 예시 코드를 활용하면 Qwen2.5-GenX-14B를 transformers 기반으로 불러와 사용할 수 있습니다.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: INTERX
Теги: qwen2, chat, manufacturing, conversational, ko, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
