VBD-LLaMA2-Chat — LLaMA2 с разговорной настройкой для вьетнамского языка (Отказ от ответственности 1: Семейство VBD-LLaMA — это попытка VinBigData поддерживать и продвигать исследования в области LLM во Вьетнаме. Эта модель не связана с ViGPT/ViViChat или каким-либо другим продуктом, работающим на VinBigData). Мы выпускаем VBD-LLaMA2-7B-Chat, доработанную модель, основанную на Meta. LLaMA2-7B специально для вьетнамского 🇻🇳 языка. Это часть наших усилий по поддержке сообщества в создании моделей вьетнамского большого языка (LLM). Предварительно обученный вес для этой модели был обучен посредством непрерывного самоконтролируемого обучения (SSL) путем расширения словарного запаса LLaMA2 на корпусе, состоящем из 100 миллиардов вьетнамских 🇻🇳 токенов и 40 миллиардов английских 🇬🇧 токенов. Этот подход пытается использовать весь потенциал существующих языковых моделей и адаптировать их к языкам с меньшими ресурсами, тем самым сокращая затраты на оборудование, время и данные, связанные с созданием LLM для этих языков. Последующая контролируемая точная настройка (SFT) проводилась с использованием нашего внутреннего набора данных SFT, который состоит из 2 миллионов вьетнамских образцов. В этом выпуске мы включаем только предварительно обученный вес и вес SFT контрольной точки нашей модели, которая была обучена на…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: LR-AI-Labs
Теги: llama, en, vi, text-generation-inference, endpoints_compatible
Лайков: 26 | Загрузок: 90
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
