По сути, это обновление старой попытки викуньи-китайской-репликации-бета. Мы приняли подход, похожий на учебную программу, начиная с простых тестов качества и заканчивая сложным кодированием и математическими задачами. По совпадению, Зия принял ту же идею в период SFT. Базовая модель была изменена с «Китайская лама» на «Китайская лама-плюс». Однако, как заметил BiLLa, продолжение обучения на корпусе, состоящем только из китайского языка, значительно увеличивает его недоумение по поводу английского корпуса, что, в свою очередь, подрывает его способности в таких областях, как математические вычисления в нашем предварительном эксперименте. Тема непрерывного обучения недостаточно изучена, в то время как использование двуязычного корпуса может быть лучшей альтернативой, как показано на данный момент. * Мы перешли на разговорный шаблон Vicuna v1.1 и включили больше обучающих данных CoT. Опять же, это только для исследовательских целей. Нет никакой гарантии его работоспособности. Все заслуги принадлежат первоначальным авторам LLaMA и Chinese-LLaMA. По сравнению с предыдущей версией, в новой модели улучшены проблемы кодирования и рассуждения. Однако он по-прежнему страдает галлюцинациями и плохо справляется с задачами, специфичными для китайского домена, например. китайская литература и идиомы. Мы используем именно шаблон Викуньи…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: keyfan
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 141
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
