Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. Вот 4.1bpw exl2 quant Kunokukulemonchini-7b-4.1bpw-exl2 для таких людей, как я, с 6 ГБ видеопамяти. Спасибо Natkituwu за — 3.5bpw Кунокукулемончини-7b-3.5bpw-exl2 — 5.0bpw Kunokukulemonchini-7b-5.0bpw-exl2 — 6.5bpw Кунокукулемончини-7b-6.5bpw-exl2 — 7.1bpw Kunokukulemonchini-7b-7.1bpw-exl2 — 8.0bpw Kunokukulemonchini-7b-8.0bpw-exl2 Слегка отредактирован config.json kukulemon-7B перед слиянием, чтобы получить контекстное окно размером не менее ~32 тыс. Следующие модели были включены в слияние: grimjim/kukulemon-7B Nitral-AI/Kunocchini-7b-128k-test Чтобы загрузить основную ветку в папку с именем Kunokukulemonchini-7b: Если вы удалите параметр —local-dir-use-symlinks False, файлы вместо этого будут храниться в центральном каталоге кэша Hugging Face (по умолчанию в Linux: ~/.cache/huggingface), и символические ссылки будут добавлены в указанный —local-dir, указывая на их реальное местоположение в кеше. Это позволяет возобновить прерванную загрузку и быстро клонировать репозиторий в несколько мест на диске, не запуская повторную загрузку. Обратной стороной и причиной, по которой я не указываю это как вариант по умолчанию, является…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: icefog72
Теги: mistral, mergekit, merge, alpaca, conversational, model-index, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 63
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
