В этом репозитории представлены большие языковые модели, разработанные Центром исследований и разработок больших языковых моделей Национального института информатики. — факел>=2.3.0 — трансформаторы>=4.40.1 — токенизаторы>=0.19.1 — ускорение>=0.29.3 — flash-attn>=2.5.8 — Тип модели: языковая модель на основе трансформатора — Всего увиденных токенов:: — llm-jp-3-1.8b: 2.1T — llm-jp-3-3.7b: 2.1T — llm-jp-3-13b: 2.1T — llm-jp-3-172b-beta1: 0.7T — llm-jp-3-172b-beta2: 1.4T — llm-jp-3-172b: 2.1T Токенизатор этой модели основан на байтовой резервной модели Huggingface/tokenizers Unigram. Словарные статьи были конвертированы из llm-jp-tokenizer v3.0. Пожалуйста, обратитесь к README.md llm-jp-tokenizer для получения подробной информации о процедуре создания словаря (чистое обучение SentencePiece не воспроизводит наш словарь). Модели были предварительно обучены с использованием смеси следующих наборов данных. Мы доработали предварительно обученную контрольную точку с помощью контролируемой тонкой настройки и дополнительно согласовали ее с оптимизацией прямых предпочтений. Для контролируемой точной настройки использовались следующие наборы данных: Мы использовали синтетические данные о предпочтениях, чтобы повысить как полезность, так и безвредность LLM. Наборы данных будут созданы…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: llm-jp
Теги: llama, conversational, en, ja, text-generation-inference
Лайков: 11 | Загрузок: 361
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
