MiniPLM-Qwen-500M — это модель 500M с архитектурой Qwen, предварительно обученной с нуля в Pile с использованием структуры дистилляции знаний MiniPLM с официальным Qwen1.5-1.8B в качестве модели учителя. Мы также открываем исходный код предварительного обучающего корпуса, уточненного с помощью разностной выборки в MiniPLM для обеспечения воспроизводимости. Дистилляция знаний (KD) широко используется для обучения небольших, высокоэффективных языковых моделей учащихся (LM) с использованием крупных LM учителей. Несмотря на то, что KD эффективен при тонкой настройке, во время предварительной подготовки он сталкивается с проблемами эффективности, гибкости и результативности. Существующие методы либо требуют больших вычислительных затрат из-за онлайн-выводов учителей, требуют сопоставления токенизации между LM учителя и ученика, либо рискуют потерять сложность и разнообразие обучающих данных, генерируемых учителями. Для решения этих проблем мы предлагаем MiniPLM, структуру KD для предварительного обучения LM путем уточнения распределения обучающих данных с учетом знаний учителя. Для повышения эффективности MiniPLM выполняет вывод LM для учителей в автономном режиме, позволяя KD для нескольких студентов LM без дополнительных затрат времени на обучение. Для обеспечения гибкости MiniPLM работает исключительно с обучающим корпусом, позволяя использовать KD во всех семействах моделей. Для эффективности…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: MiniLLM
Теги: qwen2, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
