MiniPLM-llama3.1-212M — это модель 212M с архитектурой LLaMA3.1, предварительно обученная с нуля в Pile с использованием структуры дистилляции знаний MiniPLM с официальной Qwen1.5-1.8B в качестве модели учителя. Эта модель демонстрирует гибкость структуры MiniPLM при проведении анализа знаний между семействами моделей. Мы также открываем исходный код предварительного обучающего корпуса, уточненного с помощью разностной выборки в MiniPLM для обеспечения воспроизводимости. Модели MiniPLM обеспечивают более высокую производительность при одинаковых вычислениях и хорошо масштабируются по размерам модели:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MiniLLM
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
