KARAKURI LM — это предварительно обученная языковая модель, основанная на Llama 2. Наша модель расширяет возможности Llama 2 за счет включения дополнительного японского словаря и дальнейшей предварительной подготовки на смеси японских и многоязычных корпусов. KARAKURI LM Chat — это доработанная версия KARAKURI LM, которая была обучена на общедоступных и закрытых наборах данных с использованием техники SteerLM. Во время тонкой настройки наша модель использовала подход непрерывного обучения. В отличие от общепринятой практики полагаться исключительно на структурированные наборы разговорных данных, мы также включили неструктурированные корпуса, аналогичные тем, которые использовались на этапе предварительного обучения. Несмотря на то, что диалоговые наборы данных содержат всего 2,5% японских токенов, наша модель показала замечательную производительность. На момент выпуска он демонстрирует самую высокую производительность среди японских открытых моделей на MT-Bench-jp. Кроме того, он достигает производительности, сравнимой с производительностью Llama 2 70B Chat на оригинальном английском MT-Bench. Более подробную информацию вы можете найти в нашем блоге (en, ja). Если вам интересна наша модель, попробуйте нашу демо-версию. — Разработано: KARAKURI Inc. — Тип модели: языковая модель преобразователя, предназначенная только для декодера — Языки: английский и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: karakuri-ai
Теги: llama, llama-2, ja, en, text-generation-inference, endpoints_compatible
Лайков: 27 | Загрузок: 79
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
