Мы проводим постоянное предварительное обучение мета-ламы/Мета-ламы-3-8B на 22B токенах из смеси японских и английских наборов данных. Постоянная предварительная подготовка значительно улучшает производительность модели при выполнении японских задач. Имя ёко происходит от японского слова 妖狐/ようこ/Ёко, которое представляет собой разновидность японского мифического существа (妖怪/ようかい/Ёкай). Модель обучалась с использованием кода на базе EleutherAI/gpt-neox. 32-слойная языковая модель на основе преобразователя со скрытым размером 4096 пикселей. Подробную информацию об архитектуре см. в карточке модели Llama 3. Модель была инициализирована с помощью модели мета-ламы/Мета-ламы-3-8B и постоянно обучалась примерно на 22 млрд токенов из смеси следующих корпусов: японский CC-100, японский C4, японский OSCAR, The Pile, википедия, японский набор данных, курированный Ринной, Ко Мицуда, Синьци Чен, Тошиаки Вакацуки, Кей Савада, модель = «rinna/llama-3-youko-8b» конвейер = Transformers.pipeline( «text-generation», model=modelid, modelkwargs={«torchdtype»: torch.bfloat16}, devicemap=»auto» ) выход = конвейер( «西田幾多郎は、», maxnewtokens=256, dosample=True ) print(output[0][«generated_text»]) ~~~~
Модальности:
Генерация текста
Задача: Генерация текста
Автор: rinna
Теги: llama, llama-3, ja, en, text-generation-inference
Лайков: 62 | Загрузок: 242
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
