— Базовая модель: Qwen/Qwen2-0.5B-Instruct — Модель учителя: Qwen/QwQ-32B-Preview — Структура дистилляции: генеративная дистилляция знаний (GKD) — Тип задачи: разговорный искусственный интеллект / моделирование причинного языка — Параметры: 0,5B — Специальные функции: — Оптимизировано с помощью LoraConfig для тонкой настройки — Интегрированная контрольная точка градиента для эффективного обучения — Возможности пошагового рассуждения для лучшего Решение проблем. Несмотря на то, что эффективность выполнения очень сложных задач на рассуждение повышена, она может немного отставать от модели учителя. — Предупреждение 🚨🚨🚨: эта модель не является полностью обученной, а является лишь подтверждением концепции. Не кричите на меня, если он выводит ерунду. Эта модель является примером того, как эффективные методы тонкой настройки и дистилляции могут обеспечить надежные возможности диалогового искусственного интеллекта при меньших и более управляемых размерах.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: kz919
Теги: qwen2, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
