— Создатель модели: Иньтин Линь. — Исходная модель: ТайваньLLM 13B v2.0 AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким весом, в настоящее время поддерживающий 4-битное квантование. По сравнению с GPTQ он обеспечивает более быстрый вывод на основе преобразователей с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. Модели AWQ в настоящее время поддерживаются в Linux и Windows только с графическими процессорами NVidia. Пользователи macOS: вместо этого используйте модели GGUF. — Генерация текста Webui — с использованием загрузчика: AutoAWQ — vLLM — версия 0.2.2 или новее для поддержки всех типов моделей. — Вывод генерации текста обнимающего лица (TGI) — Transformers версии 4.35.0 и более поздних версий из любого кода или клиента, поддерживающего Transformers — AutoAWQ — для использования из кода Python. Тайвань LLM — это расширенная языковая модель, адаптированная для традиционного китайского языка и ориентированная на лингвистический и культурный контекст Тайваня. Разработанная на основе большой базовой модели, она обогащена разнообразными тайваньскими текстовыми источниками и усовершенствована посредством контролируемой точной настройки. Эта модель превосходно справляется с пониманием и созданием языка и тесно связана с культурными нюансами Тайваня. Он демонстрирует улучшенную производительность в различных тестах, таких как…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: yentinglin
Теги: llama, finetuned, conversational, zh, text-generation-inference, 4-bit, awq
Лайков: 4 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
