Модель большого языка (LLM) на базе Mistral-7B представляет собой новую версию Mistral-7B-v0.1 wabisabi с набором данных, имеющую следующие изменения по сравнению с Mistral-7B-v0.1. — Контекстное окно 128 КБ (контекст 8 КБ в версии 0.1) — Достижение высокого качества генерации на японском и английском языках — Может быть сгенерирован NSFW — Способность памяти, которая не забывается даже после длительной генерации контекста. Эта модель была создана с помощью графических процессоров первого хакатона LocalAI. — Чатвектор для нескольких моделей. — Простое линейное объединение результирующих моделей. — Улучшение предметной области и предложений с помощью LORA. — Расширение контекста. — Данные обучения могут быть необъективными. Будьте осторожны с сгенерированными предложениями. — Использование памяти может быть большим для длинных выводов. — Если возможно, мы рекомендуем делать выводы с помощью llamacpp, а не Transformers.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Local-Novel-LLM-project
Теги: mistral, finetuned, en, ja, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
