> [!ВАЖНО] > Этот репозиторий представляет собой созданную сообществом квантованную версию исходной модели мета-лама/Meta-Llama-3.1-405B-Instruct, которая представляет собой официальную версию BF16 с половинной точностью, выпущенную Meta AI. Коллекция многоязычных моделей больших языков (LLM) Meta Llama 3.1 представляет собой коллекцию предварительно обученных и настроенных на инструкции генеративных моделей размером 8B, 70B и 405B (ввод/вывод текста). Модели Llama 3.1, настроенные только на текст (8B, 70B, 405B), оптимизированы для сценариев использования многоязычного диалога и превосходят многие доступные модели с открытым исходным кодом и закрытым чатом по общим отраслевым тестам. Этот репозиторий содержит мета-llama/Meta-Llama-3.1-405B-Instruct, квантованный с использованием битов и байтов от BF16 до NF4 с размером блока 64. > [!NOTE] > Чтобы выполнить вывод с помощью Llama 3.1 405B Instruct BNB в NF4, требуется около 220 ГиБ видеопамяти только для загрузки контрольной точки модели, без включения кэша KV. или графики CUDA, что означает, что доступной VRAM должно быть немного больше. Чтобы использовать текущую квантованную модель, предлагается поддержка различных решений, таких как преобразователи или вывод генерации текста. Чтобы сделать вывод с помощью Ламы…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: hugging-quants
Теги: llama, llama-3.1, meta, bnb, conversational, en, de, fr
Лайков: 5 | Загрузок: 42
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
