В этом репозитории представлены большие языковые модели, разработанные LLM-jp — совместным проектом, запущенным в Японии. Формат контрольных точек: Hugging Face Transformers (модели формата Megatron-DeepSpeed доступны здесь) — факел>=2.0.0 — трансформаторы>=4.34.0 — токенизаторы>=0.14.0 — ускорение==0.23.0 — Тип модели: языковая модель на основе трансформатора — Общее количество просмотренных токенов: 300B — Предварительное обучение: — Аппаратное обеспечение: 96 графических процессоров A100 40 ГБ (кластер mdx) — Программное обеспечение: Megatron-DeepSpeed — Настройка инструкций: — Аппаратное обеспечение: 8 графических процессоров A100 40 ГБ (кластер mdx) — Программное обеспечение: TRL, PEFT и DeepSpeed Токенизатор этой модели основан на байтовой резервной модели Huggingface/tokenizers Unigram. Словарные статьи были конвертированы из llm-jp-tokenizer v2.1 (50k). Пожалуйста, обратитесь к README.md llm-ja-tokenizer для получения подробной информации о процедуре создания словаря. — Модель: Hugging Face Fast Tokenizer с использованием резервной модели байта Unigram, для которой требуются токенизаторы> = 0,14.0 — Алгоритм обучения: SentencePiece Unigram byte-fallback — Данные обучения: подмножество наборов данных для предварительного обучения модели — Размер словаря: 50 570 (смешанный словарь японского, английского языка и исходного кода) Модели были предварительно обучены с использованием сочетания следующих…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: llm-jp
Теги: gpt2, en, ja, text-generation-inference
Лайков: 15 | Загрузок: 843
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
