— Создатель модели: Meta Llama 2 — Исходная модель: Чат Llama 2 70B Этот репозиторий содержит модель чата Llama 2 70B, квантованную до FP8 с помощью FriendliAI, что значительно повышает эффективность вывода при сохранении высокой точности. Обратите внимание, что FP8 поддерживается только архитектурами графических процессоров NVIDIA Ada, Hopper и Blackwell. Для получения более подробной информации ознакомьтесь с документацией FriendliAI. — Прежде чем начать, убедитесь, что вы зарегистрировались в Friendli Suite. Вы можете бесплатно использовать контейнеры Friendli в течение четырех недель. — Подготовьте токен личного доступа, следуя этому руководству. — Подготовьте секрет контейнера Friendli, следуя этому руководству. PAT (персональный токен доступа) — это учетные данные пользователя для входа в наш реестр контейнеров. 1. Войдите в Friendli Suite. 2. Перейдите в «Настройки пользователя» > «Токены» и нажмите «Создать новый токен». 3. Сохраните созданное значение токена. Секрет контейнера — это учетные данные для запуска наших образов контейнеров Friendli. Вам следует передать секрет контейнера в качестве переменной среды для запуска образа контейнера. 1. Войдите в Friendli Suite. 2. Перейдите в раздел «Контейнер» > «Секреты контейнера» и нажмите «Создать секрет». 3. Сохраните созданное секретное значение. 1. Войдите в клиент Docker, используя созданный токен личного доступа…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: FriendliAI
Теги: llama, facebook, meta, llama-2, conversational, en, text-generation-inference, 8-bit
Лайков: 8 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
