Объединение Эхартфордом Mistral 7B 0.1 с его набором данных Dolphin 2.1. Цель модели — быть ориентированной на RP, умной, быстрой и легкой для пользователей с низким объемом видеопамяти. Я уже создал квант exl2 4bpw (ссылка ниже), и он будет работать с 8k ctx примерно с 6 ГБ видеопамяти и отвечать на полный контекст примерно со скоростью 30 бит/с (проверено на моем 3060), если загрузчик exl2_hf используется с включенным FA2. Модель была протестирована несколькими пользователями на сервере Discord SillyTavern и проработала на Horde целый день — с хорошими результатами. https://huggingface.co/RossAscends/Mistral7BDolphin2.1LIMARP0.54bpwexl2 полные веса: https://huggingface.co/RossAscends/Mistral7BDolphin2.1LIMA0.5fp16
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RossAscends
Теги: adapter-transformers, mistral, conversational, en
Лайков: 4 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
