— Создатель модели: Mistral AI — Исходная модель: Mistral-7B-Instruct-v0.2 Этот репозиторий содержит модель Mistral-7B-Instruct-v0.2, квантованную до FP8 с помощью FriendliAI, что значительно повышает эффективность вывода при сохранении высокой точности. Обратите внимание, что FP8 поддерживается только архитектурами графических процессоров NVIDIA Ada, Hopper и Blackwell. Для получения более подробной информации ознакомьтесь с документацией FriendliAI. — Прежде чем начать, убедитесь, что вы зарегистрировались в Friendli Suite. Вы можете бесплатно использовать контейнеры Friendli в течение четырех недель. — Подготовьте токен личного доступа, следуя этому руководству. — Подготовьте секрет контейнера Friendli, следуя этому руководству. PAT (персональный токен доступа) — это учетные данные пользователя для входа в наш реестр контейнеров. 1. Войдите в Friendli Suite. 2. Перейдите в «Настройки пользователя» > «Токены» и нажмите «Создать новый токен». 3. Сохраните созданное значение токена. Секрет контейнера — это учетные данные для запуска наших образов контейнеров Friendli. Вам следует передать секрет контейнера в качестве переменной среды для запуска образа контейнера. 1. Войдите в Friendli Suite. 2. Перейдите в раздел «Контейнер» > «Секреты контейнера» и нажмите «Создать секрет». 3. Сохраните созданное секретное значение. 1. Войдите в Docker-клиент, используя личный доступ…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: FriendliAI
Теги: mistral, pretrained, conversational, text-generation-inference
Лайков: 12 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
