Если вы увлечены большими языковыми моделями и хотите обмениваться знаниями и идеями, мы приглашаем вас присоединиться к нашему серверу Discord. Стоит отметить, что корейский является основным языком, используемым на этом сервере. Сфера LLM быстро развивается, и без активного обмена наши коллективные знания рискуют быстро устареть. Давайте сотрудничать и добиваться большего эффекта вместе! Присоединяйтесь к нам здесь: Discord Link. Эта модель представляет собой корейскую версию upstage/SOLAR-10.7B-v1.0 с расширенным словарным запасом, специально доработанную для различных корейских наборов данных, просканированных в Интернете, доступных на HuggingFace. Наш подход заключался в том, чтобы расширить понимание корейского языка в модели путем предварительного обучения вложений для новых токенов и частичной тонкой настройки вложений lmhead для уже существующих токенов, сохраняя при этом исходные параметры базовой модели. Чтобы адаптировать базовые модели с английского на корейский, мы используем встраивание на основе подслов с семиэтапным процессом обучения, включающим замораживание параметров. Этот подход постепенно обучается от входных внедрений до полных параметров, эффективно расширяя словарь модели за счет включения корейского языка. Наш метод расширяет межлингвистическую модель…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: yanolja
Теги: llama, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 92 | Загрузок: 264
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
