Официальная библиотека моделей формата GGUF для использования в местном приложении чата с искусственным интеллектом Backyard AI. — Создатель: Sao10K — Оригинал: L3 Stheno V3.3 32K 8B — Дата создания: 22 июня 2024 г. — Обученный контекст: 32768 токенов — Описание: Версия 3.3 популярной серии Stheno, поддерживающая контекст 32 КБ. Модель, созданная для ролевых игр один на один, но также способная работать со сценариями, ролевыми играми и написанием историй. Без цензуры во время реальных ролевых сценариев. GGUF — это формат большой языковой модели (LLM), который можно разделить между процессором и графическим процессором. GGUF совместимы с приложениями на основе llama.cpp, такими как Backyard AI. В то время как для других форматов моделей требуются более производительные графические процессоры с большим количеством видеопамяти, GGUF можно эффективно запускать на более широком спектре оборудования. Модели GGUF квантуются для уменьшения использования ресурсов с компромиссом в виде снижения когерентности при более низком квантовании. Квантование снижает точность весов модели за счет изменения количества битов, используемых для каждого веса. — Бесплатное локальное приложение для чата с искусственным интеллектом. — Установка в один клик на Mac и ПК. — Автоматически использовать графический процессор для достижения максимальной скорости. — Встроенный менеджер моделей. — Высококачественный центр персонажей. — Привязка настольного компьютера к мобильному устройству без необходимости настройки. Backyard AI позволяет легко начать общение с…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: backyardai
Теги: gguf, llama, Sao10K/L3-8B-Stheno-v3.3-32K, text-generation-inference, en, endpoints_compatible, conversational
Лайков: 5 | Загрузок: 629
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
