Universal-NER/UniNER-7B — все квантованы до 4 бит с помощью GPTQ и сохранены в размере 1 ГБ. Модель Universal-NER/UniNER-7B-all была квантована до 4 бит, group_size 128 и act-order=True с автоматической интеграцией gptq в преобразователи (https://huggingface.co/blog/gptq-integration). Шаблон подсказки такой же, как и для модели полной точности: для достижения наилучших результатов во время вывода рекомендуется форматировать ввод в соответствии с шаблоном подсказки, упомянутым выше. Модель достаточно мала, чтобы ее можно было загрузить в бесплатную версию Colab с графическим процессором T4: https://gist.github.com/sebastianschramm/9903b2714e30d870d7e1e097c6b5c9e3. Исходная полноточная модель и связанные с ней данные выпускаются под лицензией CC BY-NC 4.0. Следовательно, та же лицензия применяется и к 4-битной версии.
Модальности:
Генерация текста
Области применения:
Распознавание сущностей
Задача: Генерация текста
Автор: SebastianSchramm
Теги: llama, LLM, Universal-NER, NER, 4bit, en, text-generation-inference, 4-bit
Лайков: 8 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
