Stockmark-13b — это LLM с 13 миллиардами параметров, предварительно обученный с нуля на основе японского корпуса, состоящего примерно из 220 миллиардов токенов. Эта модель разработана Stockmark Inc. Этот проект поддерживается программой поддержки разработки AWS LLM. Мы также предоставляем stockmark-13b-instruct, версию stockmark-13b, настроенную на инструкции. — Настройка LoRA: https://huggingface.co/stockmark/stockmark-13b/blob/main/notebooks/LoRA.ipynb Мы использовали японский корпус, насчитывающий около 220 миллиардов токенов. — Ускоритель: AWS Trainium — https://aws.amazon.com/machine-learning/trainium/ — Библиотека для распределенного обучения: Neuronx-nemo-megatron — https://github.com/aws-neuron/neuronx-nemo-megatron
Модальности:
Генерация текста
Задача: Генерация текста
Автор: stockmark
Теги: llama, japanese, llama-2, Powered by AWS Trainium, ja, text-generation-inference, endpoints_compatible
Лайков: 39 | Загрузок: 731
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
