Эта модель постоянно предварительно обучалась на Meta-Llama-3-8B с использованием английских и корейских наборов данных. Цель состоит в том, чтобы повысить уровень владения корейским языком, сохранив при этом возможности английского языка по сравнению с исходной моделью. Для обучения мы выбрали 16B токенов из следующих наборов данных: Sources Tokens (Llama-3-8B) AI-Hub 9.2B Modu Corpus 5.8B Википедия 5.4B Оптимизатор скорости обучения Беты Снижение веса Коэффициент разминки 3e-5 AdamW (0,9, 0,95) 0,1 0,05 Эта модель не была точно настроена, поэтому вам придется обучаться это в вашем собственном наборе данных, прежде чем использовать его. Мы оценили эту модель, используя как английские, так и корейские тесты, и сравнили ее с аналогичными моделями, которые постоянно предварительно обучались на Meta-Llama-3-8B. Английская корейская модель MMLU (5 выстрелов) HellaSwag (10 выстрелов) GSM8K (8 выстрелов, CoT) BBH (3 выстрела, CoT) KMMLU (5 выстрелов) HAE-RAE (5 выстрелов) KoBEST (5 выстрелов) мета-лама/Мета-Ллама-3-8B 65,1 82,1 52,0 61,9 40,2 61,1 69,2 сольлюкс/Ко-Ллама3-Люксия-8Б 57,1 77,1 32,3 51,8 39,4 69,2 71,9 беоми/Ллама-3-Опен-Ко-8Б 56,2 77,4 31,5 46,8 40,3 68,1 72,1 беоми/Ллама-3-КоЭн-8Б 52,5 77,7 21,2 43,2 40,8 71,3 73,8 тессер-ай/Тессер-Ллама-3-Ко-8Б 60,5 79,8 40,3 56,3 42,5 72,1 73,8 Мы тренировались…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tesser-ai
Теги: llama, en, ko, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
