Команда, используемая для квантования: python3 llama.py Manticore-13B-Chat-Pyg-Guanaco-GPTQ-4bit-128g.no-act-order.safetensors c4 —wbits 4 —true-sequential —groupsize 128 —save_safetensors Модель, похоже, заметно выиграла от дальнейшего расширения с помощью Guanaco qLora. Его возможности кажутся широкими даже по сравнению с другими моделями Wizard или Manticore, но с ожидаемыми недостатками в кодировании. Он очень хорош в контекстном обучении и (в своем классе) рассуждении. Он хорошо следует инструкциям и может использоваться в качестве чат-бота. Отрадно то, что он, похоже, не настаивает на агрессивном придерживании нарративов для оправдания ранее вызывавших галлюцинации результатов в такой степени, как аналогичные модели. Его результаты временами кажутся… пугающе умными. Я считаю, что модель полностью неограничена/не подвергается цензуре и, как правило, не будет ругаться. Предположительно из-за очень разнообразных обучающих данных модель принимает различные стили подсказок с относительно небольшим количеством проблем, включая ###-Вариант, но, похоже, лучше всего работает при использовании: пользователь: «ПОЛЬЗОВАТЕЛЬ:» — бот: «АССИСТЕНТ:» — контекст: «Это разговор между продвинутым ИИ и пользователем-человеком». Настройки, которые работают хорошо, но (субъективно) не являются слишком детерминированными:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mindrage
Теги: llama, manticore, guanaco, uncensored, endpoints_compatible
Лайков: 14 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
