LLM-jp-3.1 — это серия больших языковых моделей, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики. Созданные на основе серии LLM-jp-3, модели LLM-jp-3.1 включают промежуточное обучение (предварительное обучение инструкциям), что значительно расширяет их возможности следования инструкциям по сравнению с исходными моделями LLM-jp-3. Этот репозиторий предоставляет модель llm-jp-3.1-13b-instruct4. Обзор моделей LLM-jp-3.1 с различными размерами параметров см. в разделе: — LLM-jp-3.1 Предварительно обученные модели — LLM-jp-3.1 Точно настроенные модели. Более подробную информацию о процедурах обучения и результатах оценки можно найти в этой публикации в блоге (на японском языке). — факел>=2.3.0 — трансформаторы>=4.40.1 — токенизаторы>=0.19.1 — ускорение>=0.29.3 — flash-attn>=2.5.8 — Тип модели: языковая модель на основе трансформатора — Архитектура: токенизатор этой модели основан на байтовой резервной модели Huggingface/tokenizers Unigram. Словарные статьи были конвертированы из llm-jp-tokenizer v3.0. Пожалуйста, обратитесь к README.md llm-jp-tokenizer для получения подробной информации о процедуре создания словаря (чистое обучение SentencePiece не воспроизводит нашу…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: llm-jp
Теги: llama, conversational, en, ja, text-generation-inference
Лайков: 19 | Загрузок: 1,349
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
