Официальная библиотека моделей формата GGUF для использования в локальном приложении чата AI, Backyard AI. — Creator: meta-llama — Original: Meta Llama 3.1 70B Instruct — Date Created: 2024-07-16 — Trained Context: 131072 tokens — Description: Version 3.1 of the Meta Llama base model. Это вариант INSTRUCT с 8 миллиардами параметров. Не доработан для ролевой игры. GGUF — это формат большой языковой модели (LLM), который может быть разделен между CPU и GPU. GGUF совместимы с приложениями, основанными на llama.cpp, такими как Backyard AI. В тех случаях, когда для других форматов моделей требуются графические процессоры более высокого класса с достаточным количеством VRAM, GGUF могут эффективно работать на более широком спектре оборудования. Модели GGUF квантуются для снижения потребления ресурсов с компромиссом снижения когерентности при более низких квантованиях. Квантование снижает точность весов модели, изменяя количество битов, используемых для каждого веса. — Бесплатное локальное приложение для чата с искусственным интеллектом. — Установка в один клик на Mac и PC. — Автоматически использовать GPU для максимальной скорости. — Встроенный менеджер моделей. — Качественный концентратор персонажей. — Zero-config desktop-to-mobile tethering. Backyard AI позволяет легко начать общаться с AI, используя своих собственных персонажей или одного из многих, найденных в…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: backyardai
Теги: gguf, facebook, meta, llama, llama-3, en, de, fr
Лайков: 3 | Загрузок: 1,445
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
