> [!ВАЖНО] > Этот репозиторий представляет собой 4-битную квантованную версию AWQ модели nvidia/Llama-3.1-Nemotron-70B-Instruct-HF, которая представляет собой настроенную NVIDIA версию мета-ламы/Meta-Llama-3.1-70B-Instruct, первоначально выпущенную Meta AI. Эта модель была квантована с помощью AutoAWQ от FP16 до INT4 с использованием ядер GEMM, с квантованием с нулевой точкой и размером группы 128. Аппаратное обеспечение: процессор Intel Xeon E5-2699A v4 @ 2,40 ГГц, 256 ГБ ОЗУ и 2x NVIDIA RTX 3090. Это должно работать на любой платформе, поддерживающей LLama 3.1 70B Instruct AWQ. ИНТ4. Информация об использовании модели (выводе) для Transformers, AutoAWQ, Text Generation Interface (TGI) и vLLM, а также сведения о воспроизведении квантования приведены ниже. Llama-3.1-Nemotron-70B-Instruct — это большая языковая модель, настроенная NVIDIA для повышения полезности ответов, генерируемых LLM, на запросы пользователей. Эта модель достигает Arena Hard 85,0, AlpacaEval 2 LC 57,6 и GPT-4-Turbo MT-Bench 8,98, которые, как известно, прогнозируют LMSys Chatbot Arena Elo. По состоянию на 1 октября 2024 года эта модель занимает первое место во всех трех тестах автоматического выравнивания (проверенная вкладка для AlpacaEval 2 LC), обгоняя сильные передовые модели, такие как GPT-4o и Сонет Клода 3.5. Как…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: ibnzterrell
Теги: llama, llama-3.1, meta, autoawq, conversational, en, de, fr
Лайков: 6 | Загрузок: 514
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
