Эта модель представляет собой 8-битную квантованную версию модели большого языка Meta Llama 3–8B Instruct (LLM). Квантование уменьшает размер модели и повышает скорость вывода, что делает ее подходящей для развертывания на устройствах с ограниченными вычислительными ресурсами. Исходная модель LLAma3-Instruct 8B представляет собой LLM на основе авторегрессионного преобразователя, обученного на огромном наборе данных текста и кода. Он идеально настроен для выполнения инструкций и превосходно справляется с диалоговыми задачами. Компания Meta разработала и выпустила семейство больших языковых моделей (LLM) Meta Llama 3 — коллекцию предварительно обученных и настроенных генеративных текстовых моделей размером 8 и 70B. Модели Llama 3, настроенные на инструкции, оптимизированы для сценариев использования диалога и превосходят многие доступные модели чата с открытым исходным кодом по общим отраслевым тестам. Кроме того, при разработке этих моделей мы уделили большое внимание оптимизации полезности и безопасности. Вариации Llama 3 выпускается в двух размерах — с параметрами 8B и 70B — в предварительно обученных и настроенных по инструкциям вариантах. Архитектура модели Llama 3 — это авторегрессионная языковая модель, использующая оптимизированную архитектуру преобразователя. В настроенных версиях используются контролируемая точная настройка (SFT) и обучение с подкреплением с…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Kameshr
Теги: llama, text-generation-inference, 8-bit, bitsandbytes
Лайков: 9 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
