Модель представляет собой настроенную по инструкциям версию rinna/llama-3-youko-8b, использующую контролируемую точную настройку (SFT), вектор чата и оптимизацию прямых предпочтений (DPO). Он поддерживает формат чата Llama-3. 32-слойная языковая модель на основе преобразователя со скрытым размером 4096 пикселей. Подробную информацию об архитектуре см. в карточке модели Llama 3. Контролировал тонкую настройку. Данные контролируемой точной настройки являются подмножеством следующих наборов данных. — CohereForAI/ayadataset — использовалось подмножество JPN. — FLAN — kunishou/databricks-dolly-15k-ja — kunishou/hh-rlhf-49k-ja — kunishou/oasst1-chat-44k-ja — kunishou/oasst2-chat-68k-ja — мета-математика/MetaMathQA — Использовались следующие разделы: MATHansAug, MATHRephrased, MATHSV и МАТХ_ФОБАР. — Остальные разделы, содержащие дополненные данные из часто используемых корпусов оценок, были пропущены во избежание любой возможности утечки данных. — OpenAssistant/oasst1 — использовались подмножества EN и JA. — OpenAssistant/oasst2 — использовались подмножества EN и JA. — sahil2801/CodeAlpaca-20k — rinna Объединение моделей набора данных. Точная настройка модели (llama-3-youko-8b-sft) была улучшена за счет добавления следующего вектора чата. Вектор чата был получен путем вычитания векторов параметров…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: rinna
Теги: llama, llama-3, conversational, ja, en, text-generation-inference
Лайков: 15 | Загрузок: 404
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
