LLM-jp-3 — это серия больших языковых моделей, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики. Этот репозиторий предоставляет модель llm-jp-3-8x13b-instruct3. Обзор моделей LLM-jp-3 с различными размерами параметров см. в разделе: — Предварительно обученные модели LLM-jp-3 — Точно настроенные модели LLM-jp-3. — факел>=2.3.0 — трансформаторы>=4.40.1 — токенизаторы>=0.19.1 — ускорение>=0.29.3 — flash-attn>=2.5.8 — Тип модели: языковая модель на основе трансформатора — Общее количество просмотренных токенов: 2,1Т токенов Если вы хотите узнать больше о предварительном обучении серии LLM-jp-3 MoE, обратитесь к этому сообщению в блоге. Токенизатор этой модели основан на резервной модели байтов Huggingface/tokenizers Unigram. Словарные статьи были конвертированы из llm-jp-tokenizer v3.0. Пожалуйста, обратитесь к README.md llm-jp-tokenizer для получения подробной информации о процедуре создания словаря (чистое обучение SentencePiece не воспроизводит наш словарь). Модели были предварительно обучены с использованием смеси следующих наборов данных. Мы доработали предварительно обученную контрольную точку с помощью контролируемой тонкой настройки и в дальнейшем согласовали ее с прямым предпочтением…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: llm-jp
Теги: mixtral, conversational, en, ja, text-generation-inference
Лайков: 8 | Загрузок: 87
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
