Эта модель представляет собой расширенную версию модели большого языка (LLM) на базе Mistral для турецкого языка. Он был обучен на очищенном турецком наборе необработанных данных, содержащем 5 миллиардов токенов. Изначально в процессе обучения использовался метод DORA. После этого мы использовали турецкие наборы инструкций, созданные на основе различных открытых и внутренних ресурсов, для точной настройки метода LORA. — Базовая модель: LLM на базе Mistral 7B — Расширение токенизатора: специально расширено для турецкого языка — Набор обучающих данных: очищенные турецкие необработанные данные с 5 миллиардами токенов, пользовательскими наборами турецких инструкций — Метод обучения: первоначально с DORA, затем точная настройка с LORA — loraalpha: 128 — loradropout: 0,05 — r: 64 — targetmodules`: «all-linear» — loraalpha: 128 — loradropout: 0.05 — r: 256 — targetmodules`: «полностью линейный» из преобразователей [ {«role»: «user», «content»: «Türkiye’nin başkenti neresidir?»}, ] encodeds = tokenizer.applychattemplate(messages, return_tensors=»pt») eostoken =…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TURKCELL
Теги: mistral, conversational, tr, text-generation-inference, endpoints_compatible
Лайков: 96 | Загрузок: 1,617
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
