Если вы увлечены большими языковыми моделями и хотите обмениваться знаниями и идеями, мы приглашаем вас присоединиться к нашему серверу Discord. Стоит отметить, что корейский является основным языком, используемым на этом сервере. Сфера LLM быстро развивается, и без активного обмена наши коллективные знания рискуют быстро устареть. Давайте сотрудничать и добиваться большего эффекта вместе! Присоединяйтесь к нам здесь: Discord Link. Эта модель представляет собой корейскую версию upstage/SOLAR-10.7B-v1.0 с расширенным словарным запасом, специально доработанную для различных корейских наборов данных, просканированных в Интернете, доступных на HuggingFace. Наш подход заключался в том, чтобы расширить понимание корейского языка в модели путем предварительного обучения вложений для новых токенов и частичной тонкой настройки вложений lmhead для уже существующих токенов, сохраняя при этом исходные параметры базовой модели. Наша стратегия заключалась в выборочном замораживании параметров модели. В частности, мы сохранили большинство параметров базовой модели без изменений, сосредоточив внимание на расширении возможностей корейского языка. В ходе наших экспериментов мы обнаружили: 1. Замораживание слоя встроенных токенов для существующих токенов имеет решающее значение для поддержания общей производительности. 2.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: yanolja
Теги: llama, generated_from_trainer, text-generation-inference, endpoints_compatible
Лайков: 34 | Загрузок: 155
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
