Модель представляет собой настроенную по инструкции версию rinna/youri-7b. Он принимает формат ввода в стиле чата. 32-слойная языковая модель на основе преобразователя со скрытым размером 4096 пикселей. Подробности архитектуры см. в статье llama2. Данные тонкой настройки представляют собой подмножество следующих наборов данных. Данные Databricks Dolly Японские данные Databricks Dolly Антропные данные HH RLHF и их японский перевод Инструкция FLAN Данные настройки и их японский перевод Izumi lab LLM Японский набор данных Используются следующие разделы: alt aozora-txt CourseraParallel ParaNatCom Tab-delimitedBilingualSentencePairs tanaka-corpus wikinews wordnet yasashi-japanese * Остальные разделы содержат часто используемые оценки corpora, поэтому они пропускаются во избежание утечки данных. ~~~~python импортирует факел из трансформаторов import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.frompretrained(«rinna/youri-7b-chat») model = AutoModelForCausalLM.frompretrained(«rinna/youri-7b-chat») инструкция = «次の日本語を英語に翻訳してください。» input = «自然言語による指示に基づきタスクが解けるよう学習させることを Настройка инструкций と呼びます。» context = [ { «speaker»: «設定», «text»: инструкция }, { «speaker»: «ユーザー», «text»: input } ] Prompt = [ f»{uttr[‘speaker’]}:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rinna
Теги: llama, ja, en, model-index, text-generation-inference
Лайков: 14 | Загрузок: 832
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
