•🐲 [Байлонг-орпо 7B]•🐉 [Байлонг-инструкт 7Б]•🏛️ [Байлонг-скамья] • 📃 [Технический отчет] Эта карточка модели содержит информацию и результаты нашего выпущенного проекта Байлонг (白龍). Bailong, что означает двуязычное обучение на основе qLOra и встраивания с застежкой-молнией, — это наш новейший проект, направленный на повышение производительности традиционного китайского языка в модели большого языка с открытым исходным кодом (LLM). Все последствия перечислены следующим образом: — Bailong 7B (не выпущен): Bailong 7B представляет собой автогрессивную языковую модель с параметрами 7B и архитектурой преобразователя только для декодера. Он получен в результате реализации вторичного предварительного обучения на Llama 2 7B со связанным внедрением и расширенным словарным запасом. Модель обучается с длиной контекста 2048 токенов, а набор обучающих данных в основном состоит из данных на традиционном китайском языке с небольшой частью на английском языке. В частности, руководствуясь статьей Chinese-LLaMA, мы внедрили QLoRA на этапе вторичного предварительного обучения для обучения модели, в отличие от стандартного метода полнопараметрического обучения. Этот подход значительно снижает вычислительные затраты, одновременно обеспечивая удовлетворительную производительность модели. — Байлун-инструкт 7Б:…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: INX-TEXT
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 46 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
