Модель NVIDIA Llama 3.1 405B Instruct FP8 представляет собой квантованную версию модели Meta Llama 3.1 405B Instruct, которая представляет собой авторегрессионную языковую модель, использующую оптимизированную архитектуру преобразователя. Для получения дополнительной информации, пожалуйста, проверьте здесь. Модель NVIDIA Llama 3.1 405B Instruct FP8 квантуется с помощью оптимизатора модели TensorRT. Эта модель не принадлежит и не разработана NVIDIA. Эта модель была разработана и построена в соответствии с требованиями третьей стороны для этого приложения и варианта использования; см. ссылку на карту модели, отличной от NVIDIA (Meta-Llama-3.1-405B-Instruct). Тип архитектуры: Transformers Сетевая архитектура: Llama3.1 Тип(ы) ввода: Текст Формат(ы) ввода: Строка Входные параметры: Последовательности Другие свойства, связанные с вводом: Длина контекста до 128 КБ Тип(ы) вывода: Формат вывода текста: Строка Параметры вывода: Последовательности Другие свойства, связанные с выводом: Н/Д Совместимость микроархитектуры поддерживаемого оборудования: NVIDIA Blackwell NVIDIA Hopper * Набор калибровочных данных NVIDIA Lovelace: cnndailymail * Набор оценочных данных: MMLU Эта модель была получена путем квантования весов и активаций Meta-Llama-3.1-405B-Instruct для типа данных FP8, готового для вывода с помощью TensorRT-LLM.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: nvidia
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 16 | Загрузок: 17,661
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
