Мы проводим постоянное предварительное обучение мета-ламы/Мета-ламы-3-70B на токенах 5B из смеси японских и английских наборов данных. Постоянная предварительная подготовка значительно улучшает производительность модели при выполнении японских задач. Имя ёко происходит от японского слова 妖狐/ようこ/Ёко, которое представляет собой разновидность японского мифического существа (妖怪/ようかい/Ёкай). Модель обучалась с использованием кода на базе EleutherAI/gpt-neox. 80-слойная языковая модель на основе преобразователя с 8192 скрытыми размерами. Подробную информацию об архитектуре см. в карточке модели Llama 3. Модель была инициализирована с помощью модели мета-ламы/Мета-ламы-3-70B и постоянно обучалась примерно на 5B токенах из смеси следующих корпусов: японский CC-100, японский C4, японский OSCAR, The Pile, википедия, японский набор данных, курированный Ринной, Ко Мицуда, Синьци Чен, Тошиаки Вакацуки, Кей Савада, модель = «rinna/llama-3-youko-70b» конвейер = Transformers.pipeline( «text-generation», model=modelid, modelkwargs={«torchdtype»: torch.bfloat16}, devicemap=»auto» ) выход = конвейер( «西田幾多郎は、», maxnewtokens=256, dosample=True ) print(output[0][«generated_text»]) ~~~~
Модальности:
Генерация текста
Задача: Генерация текста
Автор: rinna
Теги: llama, llama-3, ja, en, text-generation-inference
Лайков: 4 | Загрузок: 35
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
