Это 4-битный GPTQ Chronos-13b-v2, основанный на базовой модели Llama v2. Он работает с Exllama и AutoGPTQ. Эта модель в первую очередь ориентирована на чат, ролевые игры, написание историй с хорошими рассуждениями и логикой. Chronos может генерировать очень длинные выходные данные со связным текстом, в основном благодаря вводу данных человеком, на котором он был обучен, и поддерживает длину контекста до 4096 токенов. В этой модели используется форматирование Alpaca, поэтому для оптимальной производительности модели используйте интерфейс, например SillyTavern, или продолжайте свой рассказ с ним: неиспользование формата приведет к тому, что модель будет работать значительно хуже, чем предполагалось. Переименуйте quantizeconfigXg.json, где X — размер группы, в quantizeconfig.json` для выбранной вами версии.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: elinas
Теги: llama, chatbot, storywriting, generalist-model, endpoints_compatible
Лайков: 8 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
