> [!ВАЖНО] > Этот репозиторий представляет собой созданную сообществом квантованную версию исходной модели мета-лама/Meta-Llama-3.1-8B-Instruct, которая представляет собой официальную версию FP16 с половинной точностью, выпущенную Meta AI. Коллекция многоязычных моделей больших языков (LLM) Meta Llama 3.1 представляет собой коллекцию предварительно обученных и настроенных на инструкции генеративных моделей размером 8B, 70B и 405B (ввод/вывод текста). Модели Llama 3.1, настроенные только на текст (8B, 70B, 405B), оптимизированы для сценариев использования многоязычного диалога и превосходят многие доступные модели с открытым исходным кодом и закрытым чатом по общим отраслевым тестам. Этот репозиторий содержит мета-llama/Meta-Llama-3.1-8B-Instruct, квантованный с использованием AutoGPTQ от FP16 до INT4 с использованием ядер GPTQ, выполняющих квантование с нулевой точкой с размером группы 128. > [!NOTE] > Чтобы выполнить вывод с помощью Llama 3.1 8B Instruct GPTQ в INT4, требуется около 4 ГиБ видеопамяти только для загрузки модели. контрольной точки, без включения кэша KV или графиков CUDA, а это означает, что доступной видеопамяти должно быть немного больше этого количества. Чтобы использовать текущую квантованную модель, предлагается поддержка различных решений, таких как трансформаторы, autogptq или…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: hugging-quants
Теги: llama, llama-3.1, meta, autogptq, conversational, en, de, fr
Лайков: 42 | Загрузок: 14,309
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
