Основной класс находится в Final-chat.py — запустите его напрямую. Импорт не требуется, поскольку он разработан как отдельный скрипт. Для программного использования измените Final-chat.py или создайте сценарий-оболочку, который импортирует класс UncensoredChat. Важное примечание: 4-битное квантование в небольшой 3B-модели приводит к небольшому ухудшению логики при выполнении математических и сложных логических задач. Тем не менее, версия GGUF обеспечивает отличную производительность при творческом написании, создании контента и общих задачах обработки текста. Для выполнения на базе ЦП без Ollama используйте прилагаемый сценарий GGUF-chat.py: этот сценарий обеспечивает те же функциональные возможности без цензуры, что и версия основного адаптера, но эффективно работает на аппаратном обеспечении ЦП. Основной класс определен в Final-chat.py. Для программного использования скопируйте класс в свой скрипт или переименуйте файл в Finalchat.py`. Сведения о контейнере: — Имя контейнера: uncensored-llama — Имя службы: llama-chat — Доступ к графическому процессору: автоматически настраивается через docker Compose — Кэш модели: монтируется в ~/.cache/huggingface для постоянного хранения — Интерактивность: полная поддержка терминала с TTY и стандартным вводом — Точка входа: автоматически запускает Final-chat.py Настройте модель и поведение системы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Ishaanlol
Теги: gguf, unsloth, llama, llama-3.2, conversational, uncensored, en, endpoints_compatible
Лайков: 13 | Загрузок: 806
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
