— Создатель модели: CohereForAI — Исходная модель: c4ai-command-r-plus Этот репозиторий содержит модель c4ai-command-r-plus, квантованную до FP8 с помощью FriendliAI, что значительно повышает эффективность вывода при сохранении высокой точности. Обратите внимание, что FP8 поддерживается только архитектурами графических процессоров NVIDIA Ada, Hopper и Blackwell. Для получения более подробной информации ознакомьтесь с документацией FriendliAI. — Прежде чем начать, убедитесь, что вы зарегистрировались в Friendli Suite. Вы можете бесплатно использовать контейнеры Friendli в течение четырех недель. — Подготовьте токен личного доступа, следуя этому руководству. — Подготовьте секрет контейнера Friendli, следуя этому руководству. — Установите Hugging Face CLI с помощью pip install -U «huggingfacehub[cli]»` PAT (персональный токен доступа) — это учетные данные пользователя для входа в наш реестр контейнеров. 1. Войдите в Friendli Suite. 2. Перейдите в «Настройки пользователя» > «Токены» и нажмите «Создать новый токен». 3. Сохраните созданное значение токена. 1. Войдите в клиент Docker, используя токен личного доступа, созданный, как описано в этом руководстве. Подготовив образ контейнера Friendli, вы можете запустить его, чтобы создать конечную точку обслуживания.…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: FriendliAI
Теги: cohere, pretrained, conversational, en, fr, de, es, it
Лайков: 5 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
