> Обновление @ 2024.04.24: Выпуск модели Llama-3-Open-Ko-8B и модели Llama-3-Open-Ko-8B-Instruct-preview. Модель Llama-3-Open-Ko-8B представляет собой продолжение предварительно обученной языковой модели на основе Llama-3-8B. Эта модель полностью обучена на общедоступном ресурсе с более чем 60 ГБ дедуплицированных текстов. С новым токенизатором Llama-3 предварительное обучение проводилось с использованием 17,7B+ токенов, что немного больше, чем у корейского токенизатора (токенизатор Llama-2-Ko). Поезд был построен на TPUv5e-256 при теплой поддержке программы TRC со стороны Google. Применив идею из статьи Chat Vector, я выпустил модель инструкций под названием Llama-3-Open-Ko-8B-Instruct-preview. Поскольку он НЕ настроен ни на один корейский набор инструкций (действительно, предварительная версия), но он был бы отличной отправной точкой для создания новых моделей чата/инструктирования. Компания Meta разработала и выпустила семейство больших языковых моделей (LLM) Meta Llama 3 — коллекцию предварительно обученных и настроенных генеративных текстовых моделей размером 8 и 70B. Модели Llama 3, настроенные на инструкции, оптимизированы для сценариев использования диалога и превосходят многие доступные модели чата с открытым исходным кодом по общим отраслевым тестам. Кроме того, при разработке этих моделей мы уделили большое внимание оптимизации полезности и…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: maywell
Теги: llama, facebook, meta, llama-3, llama-3-ko, conversational, en, ko
Лайков: 34 | Загрузок: 24
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
