Эта модель представляет собой тонкую настройку Lightblue QLoRA модели OpenOrca/OpenOrcaxOpenChat-Preview2-13B от OpenOrca на японских наборах данных точной настройки. Эта модель специализируется на ответах на закрытые вопросы на японском языке. Введите фрагмент ссылочного текста, задайте вопрос и посмотрите модельный ответ на основе ссылочного текста. Мы обучались на равных выборках из следующих трех наборов данных: SNOW TyDiQA (Ja) * XLSUM (Ja). Эти три набора данных были выбраны, поскольку они представляют собой три отдельные задачи тонкой настройки (упрощение текста, ответы на вопросы и обобщение текста соответственно), которые, по нашему предположению, могут помочь улучшить пригодность языковых моделей для работы с данными на японском языке. Эти три набора данных составляют название модели: STX. С помощью этих наборов данных мы достигли следующих результатов в тесте JGLUE: Мы достигли этих результатов, используя lm-evaluation-harness от Stability AI, используя приведенные ниже команды: Наша модель достигает гораздо лучших результатов в тесте ответов на вопросы (JSQuAD), чем базовая контрольная точка, без чудовищного снижения производительности в тестах с несколькими вариантами ответов (JCommonSense, JNLI, MARC-Ja) исключительно за счет обучения QLoRA. Это показывает потенциал для применения…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: lightblue
Теги: llama, ja, text-generation-inference, endpoints_compatible
Лайков: 16 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
