RossAscends/Mistral_7B_Dolphin2.1_LIMA0.5_fp16 - Каталог нейросетей
Генерация текста

RossAscends/Mistral_7B_Dolphin2.1_LIMA0.5_fp16

Добавлено:

Объединение ehartford Mistral 7B 0.1 с его набором данных Dolphin 2.1. Цель модели — быть ориентированной на ролевые игры, умной, быстрой и легкой для пользователей с небольшим объемом видеопамяти. Я уже создал квантизацию exl2 4bpw (ссылка ниже), и она будет работать с контекстом 8k при примерно 6 ГБ видеопамяти и отвечать на полный контекст со скоростью около 30 токенов в секунду (проверено на моей видеокарте 3060), если используется загрузчик exl2_hf с включенной функцией FA2. Модель была протестирована несколькими пользователями на сервере Discord SillyTavern и работала на Horde в течение целого дня — с хорошими результатами. https://huggingface.co/RossAscends/Mistral7BDolphin2.1LIMARP0.54bpwexl2 exllama v2 4bpw quant: https://huggingface.co/RossAscends/Mistral7BDolphin2.1LIMARP0.54bpwexl2

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: RossAscends
Теги: mistral, conversational, text-generation-inference, endpoints_compatible
Лайков: 2  |  Загрузок: 20

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.