Версия microsoft/bitnet-b1.58-2B-4T-gguf для IQ2BN и IQ2BNR4 для использования с ikllama.cpp. Я рекомендую версию IQ2BNR4, но вы используете -rtr для IQ2_BN для преобразования во время выполнения. Шаблон чата в модели выглядит некорректно (я его не менял, это из оригинального Microsoft GGUF). Пользователь: Эй, ты в сознании? Можете ли вы поговорить со мной? Ассистент: `Я смог последовать приведенному выше примеру, и это сработало для многоходовых разговоров. Более общий шаблон (взятый из статьи): Система: {systemmessage} Пользователь: {usermessage1} Помощник: {assistantmessage1} Пользователь: {usermessage2} Помощник: {assistantmessage2}
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: tdh111
Теги: gguf, bitnet, ik_llama.cpp, endpoints_compatible, conversational
Лайков: 10 | Загрузок: 400
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
