DNA 1.0 8B Instruct — это современная двуязычная языковая модель (SOTA), основанная на архитектуре Llama, специально оптимизированная для понимания и генерации корейского языка, сохраняющая при этом сильные возможности английского языка. Модель была разработана с помощью сложного процесса, включающего объединение моделей посредством сферической линейной интерполяции (SLERP) с Llama 3.1 8B Instruct, а также прошла дистилляцию знаний (KD) с использованием Llama 3.1 405B в качестве модели учителя. Он прошел тщательное обучение посредством непрерывной предварительной подготовки (CPT) с использованием высококачественного корейского набора данных. Конвейер обучения был дополнен контролируемой точной настройкой (SFT) и прямой оптимизацией предпочтений (DPO) для согласования с предпочтениями человека и улучшения способности следовать инструкциям. DNA 1.0 8B Instruct была настроена примерно на 7 миллиардов токенов тщательно отобранных данных и подверглась обширной настройке инструкций, чтобы улучшить ее способность следовать сложным инструкциям и участвовать в естественном общении. — Разработчик: Dnotitia Inc. — Поддерживаемые языки: корейский, английский — Дата выпуска модели: 10 декабря 2024 г. — Размер словарного запаса: 128 256 — Длина контекста: 131 072 токена (128 КБ) — Лицензия: CC BY-NC 4.0 NOTICE (корейский): 본 모델은 상업적 목적으로…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: dnotitia
Теги: llama, dnotitia, nlp, llm, slm, conversation, chat, conversational
Лайков: 61 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
