Версия GGUF доступна здесь Версии EXL2 доступны здесь: 3.3bpw / 4.0bpw / 5.0bpw / 6.0bpw / 8.0bpw Это мое первое жизнеспособное самостоятельное слияние фантастической модели WestLake-7B-v2, полученное после более чем 12 раундов тестирования различных конфигураций слияния. В моем тесте креативности LLM он значительно превосходит исходную модель 7B и занимает место между miqu-1-120b и goliath-120b! Я бы охарактеризовал улучшения как улучшение стиля письма и более подробную информацию. Следовать инструкциям немного сложнее, но ненамного. Это также первая модель, которую я протестировал и получила высший балл по следующему тесту: Базовая модель: senseable/WestLake-7B-v2 на основе Mistral-7B-v0.1 Размер контекста: 8192 (хотя Mistral-7B имеет размер 32 КБ, WestLake обучался с 8 КБ, и использование большего контекста может вызвать проблемы) Формат подсказки: в целом модели на основе Mistral способны понимать многие форматы подсказок, но выдают следующие наилучшие результаты и рекомендуются (в порядке предпочтения) — Альпака** (по сообщениям Sensable, работающая лучше, чем ChatML, и подтверждено мной) — ChatML (используется во время обучения WestLake) — Mistral Instruct (исходный формат от Mistral-7B) — Zephyr…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: froggeric
Теги: mistral, mergekit, merge, en, text-generation-inference, endpoints_compatible
Лайков: 22 | Загрузок: 85
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
