Этот репозиторий содержит модель Llama 3 8B, квантованную в FP8 с помощью FriendliAI, что значительно повышает эффективность ее вывода при сохранении высокой точности. Обратите внимание, что FP8 поддерживается только архитектурами NVIDIA Ada, Hopper и Blackwell GPU. Ознакомьтесь с документацией FriendliAI для получения более подробной информации. — Прежде чем начать, убедитесь, что вы зарегистрировались в Friendli Suite. Вы можете использовать контейнеры Friendli бесплатно в течение четырех недель. — Подготовьте персональный токен доступа, следуя этому руководству. — Подготовьте секрет контейнера Friendli, следуя этому руководству. PAT (Personal Access Token) — это учетные данные пользователя для входа в наш реестр контейнеров. 1. Войдите в Friendli Suite. 2. Перейдите в Настройки пользователя > Токены и нажмите «Создать новый токен». 3. Сохраните созданное значение токена. Секрет контейнера — это учетные данные для запуска изображений контейнера Friendli. Для запуска образа контейнера необходимо передать секрет контейнера в качестве переменной среды. 1. Войдите в Friendli Suite. 2. Перейдите в Container > Container Secrets (Контейнер > Секреты контейнера) и нажмите Create secret (Создать секрет). 3. Сохраните созданное секретное значение. 1. Войдите в Docker-клиент, используя личный маркер доступа, созданный, как описано в этом руководстве. После того, как вы подготовили образ Френдли…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: FriendliAI
Теги: llama, facebook, meta, llama-3, en, text-generation-inference, 8-bit
Лайков: 3 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
