DeepSeek-R1-Distill-SRE-Qwen-32B-INT8 — первая в отрасли общедоступная крупная операционная модель. Это специализированная 8-битная квантованная модель большого языка смешанной точности, доработанная на основе модели DeepSeek-R1-Distill-Qwen-32B и оптимизированная специально для операций и сценариев проектирования надежности объектов (SRE). Эта модель унаследовала мощные логические возможности серии DeepSeek-R1 и была дополнительно доработана с использованием набора данных ahmedgongi/Devops_LLM, что значительно повысило ее полезность в следующих задачах: — Автоматическое создание сценариев — Мониторинг и анализ системы — Устранение неполадок и выявление первопричин. Эта модель подходит для управления системой на уровне предприятия, разработки облачных операционных платформ и других сценариев, обеспечивая эффективное решение, которое балансирует производительность и стоимость для интеллектуальных операций. Текущая версия использует 8-битное квантование (INT8), реализованное с оптимизацией смешанной точности с помощью битов и байтов. Веса линейных слоев хранятся как torch.int8, тогда как другие компоненты (например, Embeddings и LayerNorm) остаются в torch.float16. Мы приглашаем пользователей сообщества протестировать модель и поделиться своим опытом, помогая…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение
Задача: Генерация текста
Автор: Phpcool
Теги: fasttext, sre, devops, deepseek, aa, am
Лайков: 5 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
