> Обновление от 2024.05.01: предварительная версия модели Llama-3-KoEn-8B и модель Llama-3-KoEn-8B-Instruct-preview. Модель Llama-3-KoEn-8B представляет собой продолжение предварительно обученной языковой модели на основе Llama-3-8B. Поезд был построен на TPUv4-256 при теплой поддержке программы TRC со стороны Google. Применив идею из статьи Chat Vector, я выпустил модель инструкций под названием Llama-3-KoEn-8B-Instruct-preview. Поскольку он НЕ настроен ни на один корейский набор инструкций (действительно, предварительная версия), но он был бы отличной отправной точкой для создания новых моделей чата/инструктирования. Архитектура модели Llama 3 — это авторегрессионная языковая модель, использующая оптимизированную архитектуру преобразователя. Параметры обучающих данных Длина контекста GQA Количество токенов Ограничение знаний Llama-3-KoEn То же, что *Llama-2-KoEn Набор данных 8B 8k Да 80B+ Июнь 2023 г. Статус Это статическая модель, обученная на автономном наборе данных. Лицензия CC-By-NC-SA-4.0 + Лицензия Llama3: https://llama.meta.com/llama3/license Варианты предполагаемого использования Llama 3 предназначена для коммерческого и исследовательского использования на английском языке. Модели, настроенные на инструкции, предназначены для общения в режиме помощника, тогда как предварительно обученные модели могут быть адаптированы для различных задач генерации естественного языка. За пределами области применения. Использование любым способом…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: beomi
Теги: llama, facebook, meta, llama-3, llama-3-ko, conversational, en, ko
Лайков: 16 | Загрузок: 584
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
