> Это результат весов ZhiXi-13B LoRA. Вы можете нажать здесь, чтобы узнать больше. Благодаря быстрому развитию технологий глубокого обучения большие языковые модели, такие как ChatGPT, добились значительных успехов в области обработки естественного языка. Однако эти обширные модели по-прежнему сталкиваются с рядом проблем при приобретении и понимании знаний, включая трудности обновления знаний и потенциальные расхождения и предвзятости в знаниях, известные под общим названием «ошибки знаний». Проект KnowLM пытается решить эти проблемы, запуская крупномасштабную среду интеллектуальных языковых моделей с открытым исходным кодом и выпуская соответствующие модели. На начальном этапе проекта была представлена LLM по извлечению знаний на основе LLaMA, получившая название ZhiXi (智析, что означает интеллектуальный анализ данных для извлечения информации). Чтобы интегрировать способность понимания китайского языка в языковые модели, не ставя под угрозу присущие им знания, мы сначала (1) используем корпуса китайского языка для полномасштабного предварительного обучения с помощью LLaMA (13B), расширяем понимание китайского языка языковой моделью и улучшаем ее богатство знаний, сохраняя при этом исходный английский язык и возможности кода; Затем…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: zjunlp
Теги: code, en, zh
Лайков: 22 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
