Этот репозиторий предоставляет англо-японскую двуязычную модель GPT-NeoX, содержащую 3,8 миллиарда параметров. Модель обучалась с использованием кода на базе EleutherAI/gpt-neox. 36-слойная языковая модель на основе преобразователя с 2816 скрытыми размерами. Модель была обучена примерно на 524B токенов из смеси следующих корпусов: японский CC-100, японский C4, The Pile, Redpajama, Wikipedia, Tianyu Zhao, Toshiaki Wakatsuki, Akio Kaga, Koh Mitsuda, Kei Sawada. Примечание. Поскольку модель чувствительна к декодированию гиперпараметров (например, температуры, topp, topk, повторения), предлагается изучить оптимальная настройка для вашей задачи. ~~~~python импортирует факел из трансформаторов import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.frompretrained(«rinna/bilingual-gpt-neox-4b», usefast=False) model = AutoModelForCausalLM.from_pretrained(«rinna/bilingual-gpt-neox-4b») text = «西田幾多郎は、» tokenids = tokenizer.encode(text, addspecialtokens=False, returntensors=»pt») с torch.nograd(): выходные идентификаторы = model.generate( tokenids.to(model.device), maxnewtokens=100, minnewtokens=100, dosample=True, температура=1.0, topp=0,95,padtokenid=tokenizer.padtokenid, bostokenid=tokenizer.bostokenid,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: rinna
Теги: gpt_neox, ja, en, text-generation-inference
Лайков: 28 | Загрузок: 4,997
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
