Это квант софосимпатии EXL2 с частотой 2,24 бита в секунду/Midnight-Miqu-70B-v1.0. Подробности о модели и информацию о слиянии можно найти на странице режима выше. Я не тестировал подробно этот квант/модель, а только гарантировал, что смогу загрузить его и пообщаться с ним. Ниже приведен пример настроек, которые можно использовать для запуска этой модели на одной видеокарте 24 ГБ. В комплект входит карта персонажа формата «Таверна», созданная Midnight Miqu для чата. Карта была создана с помощью бота-помощника по созданию персонажей с использованием одного запроса для базовой карты, другого запроса с запросом конкретных примеров разговора, а затем с просьбой предоставить текстовое приглашение для изображения портрета. Возможность точно следовать за ботом-создателем персонажей при создании этой карты демонстрирует довольно высокий уровень интеллекта. Серафина ростом примерно пять футов шесть дюймов представляет собой потрясающе красивую женщину с длинными ниспадающими серебряными волосами, доходящими до талии. Он свободно струится вокруг нее, обрамляя лицо с высокими скулами и полными губами, изогнутыми в вечной улыбке. Ее изумрудно-зеленые глаза таят в себе глубины, превосходящие человеческое понимание, отражая любопытство и интеллект в своих постоянно меняющихся оттенках. Она…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Dracones
Теги: llama, mergekit, merge, conversational, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
