Учитывая лицензионные ограничения LLaMA, эта модель предназначена только для исследований и обучения. Пожалуйста, строго соблюдайте политику использования LLaMA. Нам не разрешено публиковать веса для LLaMA, конечно, даже доработанного, но нет проблем опубликовать разницу, патч, который мы предлагаем применить к файлам. Шифрование представляет собой простой XOR между файлами, гарантирующий, что только люди, имеющие доступ к исходным весам (конечно, из совершенно легальных источников), смогут преобразовать их в точно настроенные веса. Вы можете найти код расшифровки на https://github.com/LianjiaTech/BELLE/tree/main/models. Если вы считаете эту модель полезной, поставьте ей лайк и отметьте нас на https://github.com/LianjiaTech/BELLE! Мы выпускаем нашу базовую модель, описанную в документе «На пути к лучшему обучению по языковым моделям для китайского языка». Мы расширяем оригинальный словарь LLaMA для эффективной токенизации китайского языка. Эта модель создается с помощью следующих шагов: 1. Обучение токенизатора со словарем из 50 тысяч токенов на 12 миллионах строк китайского текста. 2. Объедините обученный словарь с исходным словарем LLaMA, в результате чего появится новый словарь из 79 458 токенов. 3. Измените размер вложений слов и выполните предварительную подготовку…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BelleGroup
Теги: text2text-generation, zh, en
Лайков: 17 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
