Тайвань LLM — это продвинутая языковая модель, адаптированная для традиционного китайского языка и ориентированная на языковой и культурный контекст Тайваня. Разработанная на основе большой базовой модели, она обогащена разнообразными тайваньскими текстовыми источниками и усовершенствована посредством контролируемой точной настройки. Эта модель превосходно справляется с пониманием и созданием языка и тесно связана с культурными нюансами Тайваня. Он демонстрирует улучшенную производительность по различным тестам, таким как TC-Eval, демонстрируя его контекстуальное понимание и культурную значимость. Подробную информацию о развитии и особенностях Тайваньской LLM можно найти в нашем техническом отчете. – Тип модели: модель, подобная GPT, с параметрами 7B, точно настроенная на основе общедоступных синтетических наборов данных. — Язык(и) (НЛП): преимущественно традиционный китайский (zh-tw) — Точная настройка на основе модели: Meta-llama/Llama-2-7b-hf — Репозиторий: https://github.com/MiuLab/Taiwan-LLaMa — Демонстрация: https://twllm.com/ Вам следует точно настроить эту модель для выполнения инструкций или приложения чата. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 5e-05 — распределенный тип: multi-GPU — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: косинус -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: yentinglin
Теги: llama, conversational, zh, text-generation-inference, endpoints_compatible
Лайков: 15 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
