Это мое первое жизнеспособное самостоятельное слияние фантастической модели WestLake-7B-v2, полученное после более чем 12 раундов тестирования различных конфигураций слияния. В моем тесте креативности LLM он значительно превосходит исходную модель 7B и занимает место между miqu-1-120b и goliath-120b! Я бы охарактеризовал улучшения как улучшение стиля письма и более подробную информацию. Следовать инструкциям немного сложнее, но ненамного. Это также первая модель, которую я протестировал и получила высший балл по следующему тесту: Базовая модель: senseable/WestLake-7B-v2 на основе Mistral-7B-v0.1 Размер контекста: 8192 (хотя Mistral-7B имеет размер 32 КБ, WestLake обучался с 8 КБ, и использование большего контекста может вызвать проблемы) Формат подсказки: в целом модели на основе Mistral способны понимать многие форматы подсказок, но выдают следующие лучшие результаты и рекомендуются (в порядке предпочтения) — Альпака** (по сообщениям Sensable, работающая лучше, чем ChatML, и подтверждено мной) — ChatML (используется во время обучения WestLake) — Mistral Instruct (исходный формат от Mistral-7B) — Zephyr (вариант ChatML, который, как я обнаружил, иногда дает лучшие результаты) Это объединение…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: froggeric
Теги: gguf, mistral, mergekit, merge, en, endpoints_compatible
Лайков: 25 | Загрузок: 200
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
