42dot LLM-PLM — это предварительно обученная языковая модель (PLM), разработанная 42dot и являющаяся частью 42dot LLM (большая языковая модель). 42dot LLM-PLM предварительно обучен с использованием корейского и английского текстового корпуса и может использоваться в качестве базовой языковой модели для нескольких задач на корейском и английском естественном языке. Этот репозиторий содержит версию модели с параметрами 1.3B. 42dot LLM-PLM построен на архитектуре декодера Transformer, аналогичной LLaMA 2, и его гиперпараметры перечислены ниже. Предварительное обучение заняло около 49 тысяч графических часов (NVIDIA A100). Соответствующие настройки перечислены ниже. Мы использовали набор общедоступных текстовых корпусов, в том числе: — Корейский: включая проект Jikji, mC4-ko, LBox Open, KLUE, Wikipedia (корейский) и так далее. — Английский: включая The Pile, RedPajama, C4 и так далее. Токенизатор основан на алгоритме BPE байтового уровня. Мы обучали его словарный запас с нуля, используя подмножество предварительного обучающего корпуса. Для создания подмножества документы размером 10M и 10M выбираются из корпусов корейского и английского языков соответственно. Размер полученного словаря составляет около 50 тыс. Мы оцениваем 42dot LLM-PLM по различным академическим критериям как на корейском, так и на английском языке. Все результаты получены с помощью…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: 42dot
Теги: llama, causal-lm, 42dot_llm, en, ko, text-generation-inference, endpoints_compatible
Лайков: 34 | Загрузок: 1,079
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
