Trendyol LLM v1.0 — DPO — это генеративная модель, основанная на модели Mistral 7B. Было проведено обучение DPO. Это репозиторий модели чата. Архитектура модели Trendyol LLM — это авторегрессионная языковая модель (на основе Mistral 7b), в которой используется оптимизированная архитектура преобразователя. Для обучения использовалась библиотека Huggingface TRL. Версия DPO точно настраивается на 11 тысячах наборов (подсказка-выбор-отклонение) со следующими обучаемыми с использованием LoRA: — lr=5e-6 — lorarank=64 — loraalpha=128 — loratrainable=qproj,vproj,kproj,oproj,gateproj,downproj,upproj — loradropout=0.05 — bf16=True — beta=0,01 — maxlength= 1024 — maxpromptlength= 512 — lrschedulertype= cosine — torchdtype**= bfloat16 — Основная функция и применение: Trendyol LLM, модель авторегрессионного языка, в первую очередь предназначена для прогнозирования следующего токена в текстовой строке. Хотя он часто используется для различных приложений, важно отметить, что он не подвергался обширному тестированию в реальных условиях. Его эффективность и надежность в различных сценариях остаются в значительной степени непроверенными. — Понимание и генерация языка: Модель в основном обучается на стандартном английском и турецком языках. Его эффективность в понимании и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Trendyol
Теги: mistral, conversational, tr, en, text-generation-inference, endpoints_compatible
Лайков: 26 | Загрузок: 119
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
