Этот репозиторий предоставляет большие языковые модели, разработанные Научно-исследовательским центром больших языковых моделей при Национальном институте информатики. — Torch>=2.3.0 — transformers >= 4.40.1 — tokenizers >= 0.19.1 — accelerate >= 0.29.3 — flash-attn >=2.5.8 — Model type: Transformer-based Language Model — Total seen tokens:: — beta1: 0.7T — beta2: 1.4T The tokenizer of this model is based on huggingface/tokenizers Unigram byte-fallback model. Записи словаря были преобразованы из llm-jp-tokenizer v3.0. Пожалуйста, обратитесь к README.md of llm-jp-tokenizer для получения подробной информации о процедуре построения словаря (чистое обучение SentencePiece не воспроизводит наш словарь). Модели были предварительно обучены с использованием смеси следующих наборов данных. Мы оценили модели, используя 100 примеров из разделения dev. Обратите внимание, что мы пропустили задачу CG (генерация кода). Модели, выпущенные здесь, находятся на ранних стадиях наших исследований и разработок и не были настроены для обеспечения соответствия результатов с человеческими намерениями и соображениями безопасности.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: llm-jp
Теги: llama, conversational, en, ja, text-generation-inference
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
