Компания Meta разработала и выпустила семейство больших языковых моделей (LLM) Meta Llama 3 — коллекцию предварительно обученных и настроенных генеративных текстовых моделей размером 8 и 70B. Модели Llama 3, настроенные на инструкции, оптимизированы для сценариев использования диалога и превосходят многие доступные модели чата с открытым исходным кодом по общим отраслевым тестам. Кроме того, при разработке этих моделей мы уделили большое внимание оптимизации полезности и безопасности. Вариации Llama 3 выпускается в двух размерах — с параметрами 8B и 70B — в предварительно обученных и настроенных по инструкциям вариантах. Архитектура модели Llama 3 — это авторегрессионная языковая модель, использующая оптимизированную архитектуру преобразователя. В настроенных версиях используется контролируемая точная настройка (SFT) и обучение с подкреплением с обратной связью от человека (RLHF), чтобы соответствовать предпочтениям человека в отношении полезности и безопасности. Параметры обучающих данных Длина контекста GQA Количество токенов Ограничение знаний Llama 3 Новое сочетание общедоступных онлайн-данных. 8B 8k Да 15T+ Март 2023 г. 70B 8k Да Декабрь 2023 г. Семейство моделей Llama 3. Количество токенов относится только к данным предварительного обучения. В версиях 8 и 70B используется внимание к групповым запросам (GQA) для улучшения масштабируемости вывода. Статус…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Undi95
Теги: llama, facebook, meta, llama-3, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 30 | Загрузок: 1,228
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
