Это квантованная версия NTQAI/Nxcode-CQ-7B-orpo, созданная по иску llama.cpp. Nxcode-CQ-7B-orpo представляет собой монолитную оптимизацию предпочтений без эталонной модели, доработанную Qwen/CodeQwen1.5-7B на 100 тысячах выборок высококачественных данных ранжирования. Мы используем простой шаблон для создания решения для evalplus: здесь представлен фрагмент кода с помощью applychattemplate, который покажет вам, как загрузить токенизатор и модель и как генерировать содержимое. Вам следует обновить трансформеры, если при загрузке токенизатора возникает ошибка.
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: QuantFactory
Теги: gguf, code, endpoints_compatible, conversational
Лайков: 5 | Загрузок: 31
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
