Наша модель Swallow-MS-7b-v0.1 проходила постоянное предварительное обучение на Mistral-7B-v0.1, в основном с добавлением данных на японском языке. Мы рады поделиться графиком выпуска наших последних моделей: — 26 апреля 2024 г.: выпущен Swallow-MS-7b-instruct-v0.1 — 11 марта 2024 г.: выпущен Swallow-MS-7b-v0.1 !logo В этом репозитории представлены большие языковые модели, разработанные TokyoTech-LLM. Тип модели: Подробную информацию об архитектуре модели см. в техническом отчете Mistral. Язык(и): Японский Английский Токенизатор: в этой модели используется токенизатор с расширенным словарным запасом на основе японских данных. Это позволяет более эффективно представлять текст с использованием меньшего количества токенов, что приводит к значительно более быстрому процессу вывода. Контакт: ласточка[at]nlp.c.titech.ac.jp Мы использовали llm-jp-eval(v1.0.0) и JP Language Model Evaluation Harness (commit #9b42d41). Подробности следующие: — Ответ на вопрос с множественным выбором (JCommonsenseQA [Kurihara+, 2022]) — Ответ на открытый вопрос (JEMHopQA [Ishii+, 2023]) — Открытый ответ на вопрос (NIILC [Sekine, 2003]) — Понимание машинного чтения (JSQuAD [Kurihara+, 2022]) — Автоматическое обобщение (XL-Сумма [Хасан+,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tokyotech-llm
Теги: mistral, en, ja, text-generation-inference, endpoints_compatible
Лайков: 28 | Загрузок: 427
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
