AWQ Квантованная версия когнитивных вычислений/dolphin-2.9-llama3-70b.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: julep-ai
Теги: llama, conversational, text-generation-inference, endpoints_compatible, 4-bit, awq
Лайков: 5 | Загрузок: 46
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
В данном случае токенизатором является yitokenizer, для его загрузки требуется Trustremote_code=True Он может потреблять много видеопамяти, зависит от...
Исходная модель: https://huggingface.co/ibm-granite/granite-3.0-2b-instruct Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) представляют собой стандартный метод квантования, в...
Тайфун Т1 3В (Research Preview) — первый в новом семействе моделей открытого мышления «Тайфун Т». Модель рассуждения —...
Эта модель призвана стать прочной базой, подходящей для последующей тонкой настройки для решения различных задач. Основываясь на наших...
