> Это результат разницы в весе Ламы 13Б и ЧжиСи-13Б. Вы можете нажать здесь, чтобы узнать больше. Благодаря быстрому развитию технологий глубокого обучения большие языковые модели, такие как ChatGPT, добились значительных успехов в области обработки естественного языка. Однако эти обширные модели по-прежнему сталкиваются с рядом проблем при приобретении и понимании знаний, включая трудности обновления знаний и потенциальные расхождения и предвзятости в знаниях, известные под общим названием «ошибки знаний». Проект KnowLM пытается решить эти проблемы, запуская крупномасштабную среду интеллектуальных языковых моделей с открытым исходным кодом и выпуская соответствующие модели. На начальном этапе проекта была представлена LLM по извлечению знаний на основе LLaMA, получившая название ZhiXi (智析, что означает интеллектуальный анализ данных для извлечения знаний). Чтобы интегрировать способность понимания китайского языка в языковые модели без ущерба для присущих им знаний, мы сначала (1) используем корпуса китайского языка для полномасштабного предварительного обучения с помощью LLaMA (13B), расширяем понимание китайского языка в языковой модели и улучшаем ее знания, сохраняя при этом исходный английский…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: openkg
Теги: llama, code, en, zh, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
