Мы дополнительно расширили словарь на основе Chinese-LLaMA-2-7B с 55 296 до 75 548 токенов. Стоит отметить, что большинство из них — это токены кода. На MBPP мы рассчитали коэффициент сжатия токенизатора, который составил 4,509 байта/токен. В дальнейшей работе мы будем снижать это значение, чтобы повысить эффективность обучения и инференса. Мы предварительно обучили модель на основе LoRA, ранг которой равен 8, а обучаемые слои LoRA содержат qproj и vproj. Одновременно слои embedtokens и lmhead были обучены с полным набором параметров. Все обучаемые параметры имеют тип float32. Обучающие данные содержат около 400 миллионов токенов из высококачественного набора данных кода на HuggingFace. Кроме того, при предварительном обучении мы использовали механизм внимания memoryefficientattention, что позволило нам значительно сэкономить память графического процессора. Если вы хотите быстро использовать эту технологию в своей модели LLaMA, вы можете обратиться к моему репозиторию на GitHub: https://github.com/FrankMinions/memoryefficientadapter. Наша модель может использоваться для SFT, и мы надеемся внести более ценный вклад в работу в китайской сфере. Выпущена вторая версия нашей доработанной модели под названием Chinese-CodeLlama-7B-SFT-V2. Для предварительного обучения (этой модели) мы используем длину последовательности 1k,…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: frankminors123
Теги: llama, code, zh, en, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 132
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.