Модель котомамба представляет собой передовой подход к обработке естественного языка (НЛП), использующий инновационную архитектуру мамбы модели государственного пространства. Модель котомамба выпускается в двух различных версиях. 1. Двуязычное предварительное обучение (японский и английский). Первый вариант модели котомамба предварительно обучается на богатом наборе данных (около 200B токенов), содержащем как японские, так и английские тексты. 2. Постоянное предварительное обучение (в основном японское). Второй вариант модели котомамба использует другой подход, фокусируясь исключительно на японоориентированных данных для фазы непрерывного предварительного обучения. В этом репозитории представлены большие языковые модели, разработанные Kotoba Technologies, группой TohokuNLP Университета Тохоку и лабораторией Оказаки Токийского технологического института, лабораторией Йокота. Прочтите сообщение в нашем блоге или наш технический документ (препринт скоро выйдет) для получения более подробной информации! Тип модели: Подробную информацию об архитектуре модели см. в техническом документе Mamba. Язык(и): японский английский Библиотека: kotomamba Токенизатор: kotomamba-2.8B использует llm-jp-tokenizer 100K, а kotomamba-2.8B-CL использует токенизатор GPT-NeoX. Контакт**: git clone https://github.com/kotoba-tech/kotomamba и следуйте README репозитория…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: kotoba-tech
Теги: en, ja, endpoints_compatible
Лайков: 5 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
