Saltlux, AI Labs 언어모델팀에서 학습 및 공개한 Ko-Llama3-Luxia-8B 모델은 Meta에서 출시한 Llama-3-8B 모델을 한국어에 특화한 모델입니다. Объем памяти составляет 1 ТБ, объем памяти составляет 1 ТБ, а также 100 ГБ памяти. 사전학습에 활용하였습니다. Используйте токенизатор Llama-3, чтобы активировать токенизатор Llama-3. — Meta Llama-3: Meta разработала и выпустила семейство больших языковых моделей (LLM) Meta Llama 3, коллекцию предварительно обученных и настроенных генеративных текстовых моделей размером 8 и 70B. Модели Llama 3, настроенные на инструкции, оптимизированы для сценариев использования диалога и превосходят многие доступные модели чата с открытым исходным кодом по общим отраслевым тестам. Кроме того, при разработке этих моделей мы уделили большое внимание оптимизации полезности и безопасности. — Лицензия: Лицензия Llama3 https://llama.meta.com/llama3/license Ko-Llama3-Luxia-8B Вы можете использовать его в качестве источника питания. В комплект поставки входят трансформаторы Ko-Llama3-Luxia-8B, которые можно использовать в качестве источника питания. 한국어 특화를 위한 사전학습 데이터는 Saltlux 에서 보유한 뉴스, 법률, 특허, 의료, 역사, 사회, 문화, 대화(문어/구어) 등의 도메인으로 구성된 100 ГБ 수준의 코퍼스(~2023년)를 활용하였습니다. — 현재 제공되는 모델은 1 Epoch 학습된 모델입니다. Модель Параметры Длина контекста GQA Скорость обучения Пакетная точность Ko-Llama3-Luxia-8B 8B 8k да 1e-5 128 bf16 Llama-3-Tokenizer를 한국어 특화하기 위해 한국어 토큰 17 536 개를…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: saltlux
Теги: llama, saltlux, luxia, meta, llama-3, conversational, en, ko
Лайков: 77 | Загрузок: 134
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
