Commencis LLM — генеративная модель, основанная на модели Mistral 7B. Базовая модель адаптирует Mistral 7B специально для турецкой банковской системы путем обучения на разнообразном наборе данных, полученном с помощью различных методов, включая общие турецкие и банковские данные. — Разработчик: Commencis — Язык(и): Турецкий — Точная настройка на основе модели: Mistral 7B — Сообщение в блоге: LLM Фаза согласования блога состоит из двух этапов: контролируемая точная настройка (SFT) и моделирование вознаграждения с подкреплением обучения на основе отзывов людей (RLHF). Этап SFT был выполнен на основе комбинации синтетических наборов данных, созданных на основе полных данных банковского словаря, синтетических наборов данных, созданных на основе банковских доменов и заголовков поддоменов, а также полученных из набора данных CulturaX на турецком языке путем фильтрации. Обучался с тремя эпохами. Мы использовали скорость обучения 2e-5, лора-ранг 64 и максимальную длину последовательности 1024 токена. Как и все LLM, Commencis-LLM имеет определенные ограничения: — Галлюцинации: модель может иногда генерировать ответы, которые содержат правдоподобную, но фактически неверную или нерелевантную информацию. — Переключение кода: модель может непреднамеренно переключаться между языками или диалектами в рамках одного ответа, что влияет на…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Commencis
Теги: mistral, conversational, tr, en, text-generation-inference, endpoints_compatible
Лайков: 16 | Загрузок: 33
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
