Мы открываем исходный код современной серии генеративных моделей с 4B параметрами для вьетнамского языка, которая включает в себя базовую предварительно обученную одноязычную модель PhoGPT-4B и ее вариант чата PhoGPT-4B-Chat. Базовая модель PhoGPT-4B, имеющая ровно 3,7 млрд параметров, предварительно обучена с нуля на вьетнамском корпусе из 102 млрд токенов с длиной контекста 8192 и использованием словаря из 20480 типов токенов. Вариант чата, PhoGPT-4B-Chat, представляет собой результат моделирования, полученный путем точной настройки PhoGPT-4B на наборе данных из 70 тысяч инструкций и ответов на них, а также дополнительных 290 тысяч разговоров. Мы демонстрируем его превосходную производительность по сравнению с предыдущими моделями с открытым исходным кодом. Более подробную информацию об общей архитектуре и экспериментальных результатах PhoGPT можно найти в нашем техническом отчете: Пожалуйста, цитируйте наш технический отчет, когда PhoGPT используется для получения опубликованных результатов или включен в другое программное обеспечение. Для получения дополнительной информации или запросов посетите домашнюю страницу PhoGPT!
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: vinai
Теги: mpt, conversational, custom_code, vi, text-generation-inference, endpoints_compatible
Лайков: 43 | Загрузок: 923
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
