Vistral-7B-Chat — на пути к современной модели большого языка для вьетнамского языка Мы представляем Vistral-7B-chat, многоходовую разговорную модель большого языка для вьетнамского языка. Vistral является продолжением модели Mistral 7B и использует разнообразные данные для постоянного предварительного обучения и настройки инструкций. В частности, наш процесс разработки Vistral включает в себя: 1. Расширение токенизатора Mistral 7B для лучшей поддержки вьетнамского языка. 2. Проводить постоянное предварительное обучение работе с Mistral на разнообразном наборе данных вьетнамских текстов, которые тщательно очищаются и дедуплицируются. 3. Выполните контролируемую точную настройку модели, используя разнообразные данные инструкций. Мы разрабатываем набор инструкций для приведения модели в соответствие с критериями безопасности Вьетнама. Мы благодарим Hessian AI и LAION за поддержку и вычисления для обучения этой модели. В частности, мы благодарны LAION за предоставление доступа к вычислительному бюджету, предоставленному Gauss Center for Supercomputing e.V. и Институтом вычислительной техники Джона фон Неймана (NIC) на суперкомпьютерах JUWELS Booster и JURECA в Суперкомпьютерном центре Юлиха (АО). Мы предоставим данные после того, как опубликуем технический отчет по этой модели. Однако мы сделали…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Viet-Mistral
Теги: mistral, LLMs, NLP, Vietnamese, Large Language Models, conversational, vi, text-generation-inference
Лайков: 149 | Загрузок: 1,528
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
