TituLM-1B-BN-V1 — это большая языковая модель, специально предназначенная для создания и понимания текста на бенгальском языке. Используя архитектуру преобразователя в стиле декодера, эта модель была тщательно обучена на наборе данных, содержащем 4,51 миллиарда токенов Bangla. Эта модель является частью итеративного поезда и выпуска Bangla LLM от Hishab. Процесс обучения управлялся с использованием надежной структуры, предоставленной репозиторием llm-foundry MosaicML. На этапе обучения titulm-1b-bn-v1 претерпел в общей сложности 59 итераций, что позволило проводить итеративные уточнения и оптимизацию. Известные конфигурации обучения: — nnead: 16 — nlayers: 24 — maxsequencelength: 2048 — vocabsize: 72000 — attnimpl: flash — Обучение на 8 графических процессорах H100 на GCP — Culturax — Книги — Bangla Wikipedia — Banglapedia — Новостные статьи Наш общий размер данных составляет 58 ГБ дедуплицированных данных с 4,51 миллиардами токенов. токенизировано нашей моделью частей предложения. Основные варианты использования для генерации текста с использованием этой модели просты. Следуйте приведенному ниже коду, чтобы сгенерировать текст с использованием этой модели.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: hishab
Теги: mpt, custom_code, bn, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 32
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
