Наша модель Swallow постоянно проходит предварительное обучение на семействе Llama 3, в основном с добавлением данных на японском языке. В версиях Instruct используется контролируемая точная настройка (SFT) и Chat Vector. Ссылки на другие модели можно найти в указателе. Мы рады поделиться графиком выпуска наших последних моделей: — 1 июля 2024 г.: выпущены Llama-3-Swallow-8B-v0.1, Llama-3-Swallow-8B-Instruct-v0.1, Llama-3-Swallow-70B-v0.1 и Llama-3-Swallow-70B-Instruct-v0.1. В этом репозитории представлены большие языковые модели, разработанные Swallow-LLM. Прочтите сообщение в нашем блоге. Тип модели: Подробную информацию об архитектуре модели см. в Llama 3 MODELCARD. Язык(и): японский английский Библиотека: Megatron-LM Токенизатор: Подробную информацию о токенизаторе можно найти в блоге Llama 3. Контакт: ласточка[at]nlp.c.titech.ac.jp Мы использовали llm-jp-eval(v1.3.0), JP Language Model Evaluation Harness (фиксация #9b42d41) и Code Generation LM Evaluation Harness (commit #0261c52). Подробности следующие: — Ответ на вопрос с несколькими вариантами ответов (JCommonsenseQA [Kurihara et al., 2022]) — Открытый ответ на вопрос (JEMHopQA [Ishii et al., 2024]) — Открытый ответ на вопрос (NIILC [関根, 2003]) — Машина…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: tokyotech-llm
Теги: llama, conversational, en, ja, text-generation-inference, endpoints_compatible
Лайков: 21 | Загрузок: 8,770
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
