🚨 T-lite предназначен для дальнейшей тонкой настройки и не предназначен как готовый разговорный помощник. Пользователям рекомендуется проявлять осторожность и нести ответственность за любое дополнительное обучение и контроль, необходимые для обеспечения соответствия ответов модели приемлемым этическим стандартам и стандартам безопасности. Ответственность за внедрение этой модели в промышленные или коммерческие решения полностью лежит на тех, кто решит ее внедрить. T-lite — это модель непрерывного предварительного обучения, разработанная специально для русского языка и позволяющая создавать большие приложения языковой модели на русском языке. Эта модель направлена на улучшение качества генерации русских текстов и предоставление специфичных для предметной области и культурных знаний, соответствующих российскому контексту. T-lite — это языковая модель декодера с: — предварительной нормализацией с помощью RMSNorm — функцией активации SwiGLU — ротационно-позиционным встраиванием (RoPE) — вниманием к групповым запросам (GQA). Мы использовали оптимизатор Decoupled AdamW с β1 = 0,9, β2 = 0,95 и eps = 1,0e-8. Скорость обучения была установлена на 1,0e-5 с постоянным графиком и периодом прогрева в 10 шагов на этапе 1 и косинусным графиком на этапе 2. Снижение веса применялось со скоростью 1,0e-6 и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: AnatoliiPotapov
Теги: llama, conversational, ru, text-generation-inference, endpoints_compatible
Лайков: 26 | Загрузок: 29
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
