В этом репозитории представлена небольшая японская модель GPT-NeoX. Модель обучалась с использованием кода на базе EleutherAI/gpt-neox. * 20 марта 2023 г. Обновлены файлы веса модели и конфигурации, чтобы их можно было загружать через официальную реализацию GPT-NeoX от Huggingface. ~~~~ из трансформеров import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.frompretrained(«rinna/japanese-gpt-neox-small», usefast=False) model = GPTNeoXForCausalLM.from_pretrained(«rinna/japanese-gpt-neox-small») ~~~~ 12-слойный, 768-скрытый размер языковая модель на основе преобразователя. Модель была обучена на японском CC-100, японском C4 и японской Википедии для оптимизации цели моделирования традиционного языка. Наряду с предварительно обученной моделью мы также выпускаем для демонстрации файл настройки веса префикса с именем smilefacesuffix.task0.weight`. Веса, настраивающие игрушечный префикс, обучены так, чтобы побуждать модель заканчивать каждое сгенерированное предложение смайликом с улыбающимся лицом 😃. Найдите код обучения/вывода для настройки префиксов в нашем репозитории Github prefix-tuning-gpt. Вот несколько примеров, созданных с весами префикса игрушки и без него соответственно. > 1. 「きっとそれは絶対間違ってないね。わたしには5か国語に4つの外国語の意味なんてわからない。…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: rinna
Теги: gpt_neox, gpt-neox, lm, nlp, ja, text-generation-inference
Лайков: 15 | Загрузок: 115,927
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
