Meta разработала и выпустила семейство больших языковых моделей Meta Llama 3 (LLM), коллекцию предварительно обученных и настроенных на инструкции генеративных текстовых моделей в размерах 8 и 70B. Модели, настроенные на инструкции Llama 3, оптимизированы для сценариев использования в диалоге и превосходят многие из доступных моделей чата с открытым исходным кодом в общих отраслевых тестах. Кроме того, при разработке этих моделей мы уделяли большое внимание оптимизации полезности и безопасности. Вариации Llama 3 выпускаются в двух размерах — параметры 8B и 70B — в предварительно обученном и настроенном на инструкцию вариантах. Model Architecture Llama 3 — это авторегрессионная языковая модель, использующая оптимизированную архитектуру трансформатора. Настроенные версии используют контролируемую точную настройку (SFT) и обучение с подкреплением с обратной связью с человеком (RLHF), чтобы соответствовать предпочтениям человека в отношении полезности и безопасности. Параметры данных обучения Длина контекста Количество токенов GQA Количество знаний Llama 3 Новое сочетание общедоступных онлайн-данных. 8B 8k Да 15T Март 2023 70B 8k Да Декабрь 2023 Семейство моделей Llama 3. Подсчет токенов относится только к данным предварительного обучения. Обе версии 8 и 70B используют Grouped-Query Attention (GQA) для улучшения масштабируемости вывода. Состояние…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TechxGenus
Теги: llama, facebook, meta, llama-3, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 24
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
