Коллекция многоязычных больших языковых моделей (LLM) Meta Llama 3.1 представляет собой коллекцию предварительно обученных и настроенных на инструкцию генеративных моделей в размерах 8B, 70B и 405B (ввод/вывод текста). Модели Llama 3.1, настроенные только для текстовых команд (8B, 70B, 405B), оптимизированы для многоязычных сценариев использования в диалоге и превосходят многие из доступных моделей с открытым исходным кодом и закрытых чатов на общих отраслевых тестах. Архитектура модели: Llama 3.1 — это авторегрессионная языковая модель, использующая оптимизированную архитектуру трансформатора. Настроенные версии используют контролируемую точную настройку (SFT) и обучение с подкреплением с обратной связью с человеком (RLHF), чтобы соответствовать предпочтениям человека в отношении полезности и безопасности. Параметры обучения Способы ввода Способы вывода Длина контекста Количество токенов GQA Отсечение знаний Llama 3.1 (только текст) Новое сочетание общедоступных онлайн-данных. 8B Многоязычный текст Многоязычный текст и код 128k Да 15T Декабрь 2023 70B Многоязычный текст Многоязычный текст и код 128k Да 405B Многоязычный текст Многоязычный текст и код 128k Да Поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Семья ламы 3.1 из…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NousResearch
Теги: llama, facebook, meta, llama-3, en, de, fr, it
Лайков: 3 | Загрузок: 132
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
