LLM-jp-3 — серия больших языковых моделей, разработанная Научно-исследовательским центром больших языковых моделей Национального института информатики. Этот репозиторий предоставляет модель llm-jp-3-8×1.8b-instruct3. Для обзора моделей LLM-jp-3 с различными размерами параметров см.: — Предварительно подготовленные модели LLM-jp-3 — Точно настроенные модели LLM-jp-3. — torch>=2.3.0 — transformers>=4.40.1 — tokenizers >= 0.19.1 — accelerate>= 0.29.3 — flash-attn >=2.5.8 — Model type: Transformer-based Language Model — Total seen tokens: 2.1T tokens Если вы хотите узнать больше о предварительной подготовке серии LLM-jp-3 MoE, обратитесь к этому сообщению в блоге. Токенизатор этой модели основан на байт-падающей модели Unigram huggingface/tokenizers. Записи словаря были преобразованы из llm-jp-tokenizer v3.0. Пожалуйста, обратитесь к README.md of llm-jp-tokenizer для получения подробной информации о процедуре построения словаря (чистое обучение SentencePiece не воспроизводит наш словарь). Модели были предварительно обучены с использованием смеси следующих наборов данных. Мы доработали предварительно обученный контрольно-пропускной пункт с контролируемой доводкой и дополнительно согласовали его с Direct Preference…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: llm-jp
Теги: mixtral, conversational, en, ja, text-generation-inference
Лайков: 4 | Загрузок: 48
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
